Den 1. juli 1863 blev Walker forfremmet til brigadegeneral og efter Gettysburg-kampagnen blev han tildelt generalmajor Henry Heths division af III Corps of the Army of Northern Virginia, der oprindeligt kommanderede Heths tidligere brigade, derefter brigadegeneral James J. Archers brigade også, efter Archers alvorlige sår. Walker tjente som brigadekommandør under Heth, indtil han mistede sin venstre fod i Slaget ved Spotsylvania Court House den 10. maj 1864. Han deltog i slaget ved Bristoe Station den 14. oktober 1863, i slaget ved Mine Run
og efter at have tjent i Shenandoah-dalen i vinteren 1864-1864, i slaget ved Wilderness før hans sårede ved Spotsylvania Court House.