Skriv en fortsættelse til dette afsnit - I 1863 blev Elders batteri tildelt den amerikanske Hesteartilleribrigade, hvor det tjente det meste af resten af krigen. Han tjente en permanent forfremmelse til kaptajn den 1. august 1863. Kortvarigt løsrevet i februar 1864 blev Elder citeret for tapperhed i slaget ved Olustee i Florida og blev tildelt brevet forfremmelse til major. Da han vendte tilbage til Hestartilleriet, blev han igen citeret for handlinger ved Drewry's Bluff
, 5. maj 1864, og blev brevetted oberstløjtnant. Han forblev i hæren efter krigen, og blev forfremmet til major i det 2. amerikanske artilleri, den 30. juni 1882.