Fuldfør følgende sætning: I 1813 giftede Ruffin sig med Susan Hutchings Travis af Williamsburg. Parret flyttede til en plantage, som Ruffin arvede fra sin navnefar, ved Coggin's Point langs James-floden i Prince George County, som blev noteret som Benedict Arnold's udgangspunkt, efter at han skiftede troskab og angreb langs James-floden (herunder Richmond) i 1781. De havde elleve børn, før Susan Ruffin døde i 1846, selv om de fleste ville dø, før den amerikanske borgerkrig sluttede, og deres far begik selvmord: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816<unk>1865), Julian Calx Ruffin (1821<unk>1864, der døde ved
Slaget ved Drewry's Bluff), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; VMI-kandidat, der overlevede krigen), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) og George Champion Ruffin (1845-1913).