Under den konfødererede tilbagetrækning tilbage til Virginia forsøgte Brockenbrough at genvinde noget af sit skadede ry ved at foretage et hensynsløst fremrykning mod Unionens tropper ved Falling Waters den 14. juli, hvor han led talrige tab. Fem dage senere fik Brockenbroughs tidligere regimental oberstløjtnant, brigadegeneral Henry Harrison Walker, kommandoen over brigaden, hvilket returnerede Brockenbrough til 40th Virginia, som han ledte ved Bristoe og Mine Run
- Hvad? Den 21. januar 1864 trak Brockenbrough sig fra den konfødererede hær. Han beholdt sin rang som oberst i reserven indtil slutningen af 1864.