Passy, der er opvokset i en familie af militærveteraner, beskrev i sin selvbiografi, hvordan han "med lethed kunne være blevet tiltrukket af militarisme". I stedet, fortællinger om de rædsler af den franske erobring af Algeriet
fik ham til at overveje, hvilken effekt krigen havde på menneskeheden. År med voldsom utilfredshed i Italien, Polen, Østrig og Preussen førte til krav om en europæisk føderation fra fremtrædende liberale og socialister: Pierre-Joseph Proudhon, Émile de Girardin, Passy og Michel Chevalier var alle fortalere for denne idé. I 1859 fordømte Passy tanken om at militær aktion kunne være en løsning på politiske problemer og foreslog i stedet at Europa skulle have en "permanent kongres til at føre tilsyn med menneskehedens generelle interesser" og en international politistyrke.