Ashe's barnebarn, William Ashe, var en konfødereret soldat i den amerikanske borgerkrig, og en søn af John B. og den tidligere Eliza Hay. Han blev dræbt ved
Shiloh i Tennessee i 1862, et slag, hvor Williams bror, Samuel Swann Ashe, også kæmpede.