Gibbon kembali memimpin Divisi ke-2 selama Kampanye Darat Jenderal Grant pada Mei dan Juni 1864, melihat aksi di pertempuran Wilderness, Spotsylvania Court House, dan Cold Harbor. Pada tanggal 7 Juni 1864, ia dipromosikan menjadi jenderal besar sukarelawan. Selama kampanye Pengepungan Petersburg berikutnya (Juni 1864 hingga April 1865), Gibbon menjadi putus asa ketika pasukannya menolak untuk bertempur di Stasiun Ream
pada bulan Agustus 1864. Dia sebentar memerintahkan Korps XVIII sebelum pergi berlibur sakit, tetapi layanannya terlalu berharga, dia kembali untuk memerintah Korps XXIV yang baru dibentuk di Army of the James. Pasukannya membantu mencapai terobosan yang menentukan di Pertempuran Ketiga Petersburg pada bulan April 1865, merebut Fort Gregg, bagian dari pertahanan Konfederasi. Selama Kampanye Appomattox, ia membantu memblokir jalur pelarian Konfederasi di Pertempuran Appomattox Courthouse, yang mengakibatkan penyerahan Gen. Lee. Dia adalah salah satu dari tiga komisaris untuk penyerahan Konfederasi.