Gibbon var tilbage i kommandoen over 2. division under general Grants Overlandskampagne i maj og juni 1864, hvor han deltog i slagene ved Wilderness, Spotsylvania Court House og Cold Harbor. Den 7. juni 1864 blev han forfremmet til generalmajor for frivillige. Under den efterfølgende belejring af Petersburg kampagne (juni 1864 til april 1865), Gibbon blev modløs, da hans tropper nægtede at kæmpe ved
Ream's Station i august 1864. Han kommanderede kortvarigt XVIII Korps før han gik på sygeorlov, men hans tjeneste var for værdifuld, og han vendte tilbage for at lede det nyoprettede XXIV Korps i James' hær. Hans tropper hjalp med at opnå det afgørende gennembrud i det tredje slag ved Petersburg i april 1865, hvor de erobrede Fort Gregg, som var en del af de konfødererede forsvar. Under Appomattox-felttoget hjalp han med at blokere den konfødererede flugtvej ved slaget ved Appomattox Courthouse, hvilket resulterede i general Lees overgivelse. Han var en af tre kommissærer for den konfødererede overgivelse.