Ai Giochi olimpici di [[Giochi della XXVIII Olimpiade|Atene 2004]] si dedicò alle sue specialità, togliendo dal programma la distanza dei 50 metri. Esordì ad AteneIniziò con la [[Nuoto#staffette|staffetta]] 4x100 m stile libero stile libero, in cui nuotò in ultima frazione il miglior lanciato di sempre in 46"79, portando in all'argento i [[Paesi Bassi]], dietro al [[Sud Africa]] che batté il record del mondo in 3'13"17. Sui 200 m stile libero si rinnovò la sfida contro [[Ian Thorpe]] e [[Grant Hackett]] in quella che fu denominata ''The race of the century'' (la gara del secolo) alla quale si aggiunse anche [[Michael Phelps]]. L'olandese subì nell'ultima vasca il soprasso di Thorpe, che vinse con il record olimpico di 1'44"71, davanti a van den Hoogenband (1'45"23) e a Phelps (1'45"32, record statunitense). Nei 100 m stile libero, dopo le sconfitte subite ai mondiali, tornò in cima al podio vincendo il secondo titolo consecutivo in 48"17, davanti a [[Roland Mark Schoeman]] e a Ian Thorpe.
Nei 100 m stile libero, dopo varie sconfitte subite ai mondiali, tornò in cima al podio vincendo il secondo titolo consecutivo in 48"17, davanti a [[Roland Mark Schoeman]] e a Ian Thorpe.
