Lee lolos pikeun dua acara ngojay di Olimpiade Usum Panas 2004 di Athena, ku ngaliput FINA B-standar kali éntri tina 22.95 (50 m gaya bébas) jeung 51.84 (100 m gaya bébas) ti Dong-A Tournament ngojay di Seoul. Dina 100 m gaya bébas
, Lee nangtang tujuh perenang séjén dina panas katilu, kaasup veteran Olimpiade Carl Probert ti Fiji. Anjeunna ngabagi unggulan kadua sareng patang puluh lima tempat dasi sareng Ismael Ortiz ti Panama dina 51.74. Dina acara kadua na, 50 m gaya bébas, Lee nempatkeun tilu puluh-kalima sakabéh dina awal isuk urang. Ngalayang dina panas tujuh, anjeunna nyandak tempat kaopat ku 0.15 detik di tukangeun Sérbia sareng Milorad Čavić ti Monténégro dina 23.05.