Under den konfødererede tilbagetrækning tilbage til Virginia forsøgte Brockenbrough at genvinde noget af sit beskadigede ry ved at foretage et hensynsløst fremrykning mod Unionens tropper ved Falling Waters den 14. juli, hvor han led mange tab. Fem dage senere fik Brockenbroughs tidligere regimentelle oberstløjtnant, brigadegeneral Henry Harrison Walker, kommandoen over brigaden, hvilket returnerede Brockenbrough til den 40. Virginia, som han ledte ved Bristoe og
Mine Run. Den 21. januar 1864 trak Brockenbrough sig fra den konfødererede hær. Han beholdt sin rang som oberst i reserven indtil slutningen af 1864.