Pada Pertempuran di Lee's Mills, 16 April 1862, ia memimpin sebuah perusahaan skirmishers awal keterlibatan. Pada tanggal 13 Desember 1862, di Pertempuran Fredericksburg, Letnan Kolonel Foster memimpin Infantri Vermont ke-4 di garis pertempuran di depan divisi Howe dari Korps VI. Pada pertempuran Winchester
, Kolonel Foster memiliki komando dari Brigade Vermont.