Setelah jatuhnya Vicksburg, divisi Osterhaus dipindahkan ke Tennessee. Dalam Kampanye Chattanooga ia membantu Mayor Jenderal Joseph Hooker dalam penangkapan
Lookout Mountain. Osterhaus kemudian berpartisipasi dalam Kampanye Atlanta tetapi cuti sakit selama sebulan menyebabkan dia melewatkan Pertempuran Atlanta yang penting. Namun, ia kembali menjadi komandan dan memainkan peran penting dalam Pertempuran Jonesborough. Setelah penangkapan Atlanta, ia menerima komando Korps XV, salah satu dari empat korps di mana tentara dikonsolidasikan, dalam Sherman's March to the Sea. Pada bulan Maret 1865 Osterhaus ditunjuk sebagai kepala staf di Divisi Militer Mississippi Barat di bawah komando Mayor Jenderal Edward Canby, seorang komandan dengan sedikit pengalaman tempur di komando tinggi. Osterhaus melayani Canby melalui pertempuran Spanish Fort dan Fort Blakely. Ketika Edmund Kirby Smith menyerah pada pasukan Konfederasi di Teater Trans-Mississippi, Osterhaus dikirim sebagai perwakilan Canby dan karena itu secara pribadi menandatangani dokumen atas nama tentara Uni.