Swanton, njegova žena in hčerka so pobegnili v Maine med državljansko vojno, hišo pa so pustili v skrbi vdovi gospe Johnson. 19. julija 1864 je bila hiša glavno postajo vojske Tennesseeja, ki je bila na poti v bitko pri Atlanti.
-Kaj? Prisotnost generala Thomasa W. Sweenyja v Swanton Houseu je zabeležena v zapisih tistega časa. Pozneje, ko je general Sherman septembra 1864 ukazal zasedbo Atlante, je vojska Ohia uporabila Swanton House kot svoj štab. Hiša se je tako varovala pred uničenjem v vojni.