Johnson meldte sig ind i Unionshæren som 15-årig. Han var oprindeligt indskrevet i Company H i 43rd Ohio Infantry Regiment. Regimentet blev tildelt kommandoen over XVI Korps i den fjerde division, men i foråret 1864 blev Johnson overført til den første division af XVII Korps. Der tjente han under general John W. Sprague. Den 1. maj 1864 sluttede Johnsons regiment sig til general William Tecumseh Shermans hær ved Chattanooga. Det første slag Johnson deltog i, hvor han var under beskydning, var slaget ved Decatur. Johnson fik et mindre sår i benet, over det venstre knæled, i slaget ved Resaca. Johnson deltog stadig i fremtidige slag, såsom Slaget ved Dallas, Slaget ved Kennesaw Mountain og Slaget ved Peachtree Creek. Efter den
Efter Atlanta faldt, arbejdede Johnson for general Sprague, indtil han blev afskediget i slutningen af krigen. Efter krigen flyttede Johnson tilbage til Lorain County, Ohio.