Pada awal Perang Saudara, Mansfield memerintahkan Departemen Washington (27 April - 17 Agustus 1861), dan dipromosikan menjadi brigadir jenderal pada tanggal 6 Mei 1861. Kepala Jenderal Winfield Scott merekomendasikan Mansfield untuk komando tentara sukarelawan yang diangkat di Washington DC musim semi itu, tetapi komando itu diberikan kepada Irvin McDowell. Mansfield tidak dianggap sebagai pilihan terbaik karena usianya yang relatif lanjut dan skeptis terhadap pasukan sukarela dan dorongan pemerintah untuk melakukan serangan cepat ke Richmond yang akan mengakhiri perang dalam beberapa bulan, dan dia juga tidak memiliki sponsor politik di Washington. Setelah kekalahan Uni di Bull Run, George McClellan ditempatkan sebagai komandan upaya perang di Teater Timur dan harapan Mansfield untuk komando tentara sekali lagi hancur. McClellan juga tidak menawarinya komando di Angkatan Darat Potomac yang baru dibentuk. Mansfield ditempatkan di Hatteras Inlet, North Carolina
, pada bulan Oktober, menyusul pertempuran yang terjadi di sana oleh Benjamin Butler pada bulan Agustus. Dia adalah seorang komandan brigade di Departemen Virginia dari Maret sampai Juni 1862. Satu-satunya aktivitas tempurnya selama periode ini adalah menembakkan baterai pesisir dari Hampton Roads terhadap kapal lapis baja "CSS Virginia" dalam pertempuran angkatan lautnya melawan "USS Monitor" pada 9 Maret 1862. Sampai musim gugur 1862, Mansfield memerintahkan Divisi Suffolk dari Korps VII Departemen Virginia di sekitar Suffolk.