Il C.I.O. fu fondato il 23 giugno 1894 a Parigi, con l’incarico di organizzare i primi Giochi Olimpici dell’era moderna. La presidenza fu affidata al greco Dīmītrios Vikelas. La fondazione del CIO era l’atto conclusivo di un congresso presso l’Università Sorbona, nella quale De Coubertin aveva presentato al pubblico la sua idea di utilizzare lo sport come strumento per promuovere la pace e la comprensione tra i popoli.
Propose di organizzare di nuovo i Giochi Olimpici, come nell’Antica Grecia, dove i giovani di tutto il mondo avrebbero potuto confrontarsi in una competizione sportiva leale, piuttosto che in guerra.
Il congresso accolse con entusiasmo la proposta di De Coubertin e stabilì che la I Olimpiade moderna si sarebbe svolta nel 1896 ad Atene, in Grecia, l’antica patria dei Giochi.