Dia adalah putra Hans Christoph von Gagern, menteri negara di Nassau; dia menghadiri gimnasium di Kreuznach, Mannheim, dan Weilburg, dan belajar hukum dari 1826 di Heidelberg, Utrecht, dan Göttingen. Setelah tinggal di Paris ia menerima pada tahun 1829 posisi di kabinet William I, Raja Belanda. Pada pecahnya Revolusi Belgia
(1830) ia bergabung dengan tentara Belanda sebagai relawan dan mengambil bagian dalam perang melawan Belgia. Pada tahun 1833 ia pensiun dari dinas Belanda, menikah dengan Franzina Lambert, dari Den Haag, dan mengambil studi sejarah untuk menyesuaikan diri untuk posisi Privatdozent di Universitas Bonn. Dia berada di Bonn selama tahun 1837-40. Pada tahun 1837, meskipun masih seorang Protestan, ia berpihak pada Uskup Agung Cologne yang dipenjara, Droste-Vischering, dan dengan demikian kehilangan dukungan Pemerintah Prusia. Pada tahun 1840 ia ditunjuk sebagai penerus menteri dengan gelar Legationsrat oleh Duke of Nassau.