V Kentuckyju so ga ujeli in ga pred zamenjavo zaprli v zaporu Libby. Kasneje sta se Coburn in polkovnik Benjamin Harrison borila skupaj v več bitkah pod poveljstvom generala Williama Tecumseha Shermana. V tem času so bili Coburn in njegovi vojaki prvi v Atlanti.
in zagotovil predajo mesta. V središču Atlante je velik spomenik, kjer je župan mesta predal mesto Coburnu. Iz vojske je bil odveden 20. septembra 1864.