Cailliet er født i Dampierre-sur-Moivre i det nordlige Frankrig og studerede på konservatoriet i Dijon. I 1915 rejste han til USA som turist for at deltage i Panama-Pacific International Exposition
Jeg vender snart tilbage til Frankrig. I september 1920 emigrerede han til USA og sejlede fra Le Havre til New York på S/S "La Savoie". Hans destination var Philadelphia.