Efter Vicksburgs fald blev Osterhaus' division overført til Tennessee. I Chattanooga-kampagnen hjalp han generalmajor Joseph Hooker med at erobre Lookout Mountain. Osterhaus deltog derefter i Atlanta-kampagnen, men en måneds lang sygeorlov fik ham til at gå glip af den afgørende
Slaget om Atlanta. Men han vendte tilbage til kommandoen og spillede en vigtig rolle i slaget ved Jonesborough. Efter erobringen af Atlanta fik han kommandoen over XV Korps, et af de fire korps, som hæren blev konsolideret i, i Sherman's March to the Sea. I marts 1865 blev Osterhaus udnævnt til stabschef i Military Division of West Mississippi under kommando af generalmajor Edward Canby, en kommandør med lidt kampoplevelse i højkommando. Osterhaus tjente Canby gennem slagene ved Spanish Fort og Fort Blakely. Da Edmund Kirby Smith overgav de konfødererede styrker i Trans-Mississippi Theater, blev Osterhaus sendt som Canbys repræsentant og underskrev derfor personligt dokumenterne på vegne af Unionens hær.