Swanton, hans kone og datter flygtede til Maine under borgerkrigen og overlod huset til en enke, mrs. Johnson. Den 19. juli 1864 blev huset hovedkvarter for Army of the Tennessee, på vej til at deltage i Slaget om Atlanta
- Hvad? General Thomas W. Sweeny's tilstedeværelse på Swanton House er registreret i tidens optegnelser. Senere, da general Sherman beordrede besættelsen af Atlanta i september 1864, brugte Army of the Ohio Swanton House som sit hovedkvarter. Huset blev således skånet for ødelæggelse i krigen.