Swanton, njegova žena in hčerka so med državljansko vojno pobegnili v Maine, hišo pa so pustili v skrbi vdovi gospe Johnson. 19. julija 1864 je hiša postala poveljstvo vojske Tennesseeja, na poti, da bi sodelovala v
Bitka za Atlanto. Prisotnost generala Thomasa W. Sweenyja v Swanton Houseu je zabeležena v zapisih tistega časa. Pozneje, ko je general Sherman septembra 1864 ukazal zasedbo Atlante, je vojska Ohia uporabila Swanton House kot svoj štab. Hiša se je tako varovala pred uničenjem v vojni.