프레이져는 미국 올림픽 선발전에서 바스터 마티스와 치열한 결승 경기 끝에 져 선수단에 선발되지 못했다.
침울해 있는데 미국 권투 팀의 스파링 파트너로 도쿄 대회에 동행하라는 부탁을 받았다. 그는 마티스의 연습 상대가 되었다.
마티스는 연습 도중 프레이져의 머리에 강한 라이트 펀치를 치다가 엄지손가락 골절상을 입었으며 올림픽의 첫 대전에도 나갈 수 없다는 것이 의사의 진단이었다.
프레이져는 마티스 대신 출전하여 1,2차 전에서 모두 KO로 이기고 준결승에서 소련의 거인 바딤 예멜리아노프와 대전하게 되었다. 그는 2라운드 1분 59초만에 소련 선수를 KO시켜 이겼지만 왼손엄지 손가락을 다쳤다. 주치의가 그의 부어오른 손을 X-Ray 촬영하려 했지만 「나는 금메달을 따야 한다. 이것만이 내가 도살장 직업을 면할 수 있는 길이다」라고 말하면서 한사코 촬영을 거절하였다.
프레이져는 왼손이 아픈 것도 무릅쓰고 결승에 임해 독일의 한스 후버를 3대2 판정으로 물리치고 우승을 차지했다.
18회 동경 대회, 죠 프레이져 본 선수 대신 우승.