1986년 근대 올림픽이 재개되었을 때, 아테네 올림픽 조직 위원회에서는 권투 경기를 올림픽 종목에서 제외시켰다. 너무 위험하고, 너무 비신사적이라는 이유에서였다. 그 뒤, 1904년 미국인의 열광적인 성원에 힘입어 St Louis에서 잠깐 나타났다가, 1912년 스톡홀롬에서 스웨덴의 국법으로 금지된 운동이라는 이유로 다시 제외 되었다.

1920년이 되어서야 올림픽 정식 종목으로 자리잡게 되었다. 그리하여, 무하마드 알리(당시는 카시우스 클래이로 불렸다.)와 테오필로 스티븐슨(금메달 3회 수상)이 신화속의 투사 Theagenes 와 Cleitomachus와 비견되기에 이르렀다.

선수들은 유럽, 아시아, 아메리카, 아프리카와 오세아니아의 지역 예선을 통해 올림픽 본선에 진출한다. 본선 출전 선수의 숫자는 각 지역별 권투수준에 따라 결정되며, 체급별로 많은 차이가 있다. 선수들은 랭킹에 상관없이 무작위로 상대방이 정해지며, 토너먼트로 경기가 진행되고, 여타의 올림픽 경기와는 다르게 준결승에서 패한 두명이 모두 동메달을 수상한다. 2000년 시드니 올림픽에서는 각 경기가 2분 4회전이며, 매회 사이에 1분의 휴식시간이 주어진다. 1996년 애틀랜타 올림픽까지는 3분 3회전으로 경기가 진행되었다.

1990년대를 통하여, 올림픽 권투선수 중 가장 위대한 이름은 바로 쿠바의 펠릭스 사본이다. 세계 선수권 대회에서 3회 우승한 사본은 만약 시드니 올림픽에서 금메달을 딴다면, 스티븐슨과 헝가리의 Laszlo Papp에 뒤이어 올림픽 3회 우승이라는 금자탑을 쌓게 된다. 아직 복귀하지 않았지만, 같은 쿠바출신의 미들급의 아리엘 헤르난데스도 3회 연속 금메달이 유력시 되는 선수이다. 세계 선수권 대회에서 지금까지 무려 42개의 타이틀을 획득한 쿠바는 애틀랜타 올림픽에 이어 이번 시드니 올림픽에서도 눈 여겨 보아야 할 팀이다. 미국은 19회 올림픽에서 46개의 금메달을 획득하여 메달 수에서 앞서고 있다.