Efter succesen med OL i 1896 gik OL ind i en periode med stagnation, som truede dets overlevelse. De olympiske lege, der blev afholdt på Paris-udstillingen i 1900 og Louisiana-udstillingen i St. Louis i 1904, tiltrak ikke særlig opmærksomhed. Af de 650 atleter der deltog i OL i 1904, var 580 amerikanere; vinderen af maratonløbet
blev senere diskvalificeret, da der blev fundet et billede af ham i en bil under løbet. Legene kom tilbage med de interkalerede lege i 1906 (såkaldte fordi de var de to OL, der fandt sted inden for den tredje Olympiade), som blev afholdt i Athen. Disse lege tiltrak et bredt internationalt felt af deltagere og genererede en stor offentlig interesse, hvilket markerede begyndelsen på en stigning i både populariteten og størrelsen af OL. IOC anerkendte officielt OL i 1906 på det tidspunkt (selvom det ikke længere er tilfældet), og der er ikke blevet afholdt Intercalated Games siden.