Ashe's barnebarn, William Ashe, var en konfødereret soldat i den amerikanske borgerkrig, og en søn af John B. og den tidligere Eliza Hay. Han blev dræbt i Shiloh
I Tennessee i 1862, en kamp, hvor Williams bror, Samuel Swann Ashe, også kæmpede.