Efter omfattende omorganisering i løbet af vinteren 1863-1864, kæmpede Walker og Army of the Potomac i Overland Campaign gennem maj og juni 1864. Slaget ved Cold Harbor i begyndelsen af juni tog en betydelig vejafgift på II Corps og Walker skadede sit knæ under slaget. I det efterfølgende Richmond-Petersburg-felttog blev Walker udnævnt til oberst. Men den 25. august 1864, da han red for at finde generalmajor John Gibbon på fronten under
Andet slag ved Ream's Station, Walker blev omringet og taget til fange af 11. Georgia Infantry. Den 27. august var Walker i stand til at flygte fra en marscherende fangekolonne med en anden fange, men blev fanget igen af 51st North Carolina Infantry efter at have forsøgt at svømme over Appomattox-floden og næsten druknet. Efter at han var blevet holdt som fange i Petersburg, blev han overført til det berygtede Libby-fængsel i Richmond, hvor hans storebror også var fængslet. I oktober 1864 blev Walker løsladt sammen med tredive andre fanger som en del af en udveksling.