Han var søn af Hans Christoph von Gagern, statsminister i Nassau; han gik på gymnasierne i Kreuznach, Mannheim og Weilburg, og studerede jura fra 1826 i Heidelberg, Utrecht og Göttingen. Efter et ophold i Paris modtog han i 1829 en stilling i kabinettet for Vilhelm I, kong af Holland. Ved udbruddet af den belgiske revolution
(1830) meldte han sig frivilligt ind i den hollandske hær og deltog i krigen mod Belgien. I 1833 trak han sig tilbage fra den hollandske tjeneste, giftede sig med Franzina Lambert fra Haag og begyndte at studere historie for at kunne passe til stillingen som Privatdozent ved Bonn Universitet. Han var i Bonn i årene 1837-40. I 1837, selv om han stadig var protestant, tog han parti for den fængslede ærkebiskop af Köln, Droste-Vischering, og mistede således den preussiske regerings gunst. I 1840 blev han udnævnt til ministerlig efterfølger med titlen Legationsrat af hertugen af Nassau.