I slaget ved Lee's Mills, den 16. april 1862, førte han et kompagni af skirmishers tidligt i kampen. Den 13. december 1862 ledte oberstløjtnant Foster 4. Vermont Infanteri i slaget ved Fredericksburg på slaglinjen foran Howes division af VI Korps. I slaget ved Winchester
Oberst Foster havde kommandoen over Vermont-brigaden.