Tulis kelanjutan untuk paragraf ini - Pada tahun 1813, Ruffin menikah Susan Hutchings Travis dari Williamsburg. Pasangan itu pindah ke perkebunan yang diwarisi Ruffin dari kakeknya, di Coggin's Point, di sepanjang Sungai James di Prince George County, yang dicatat sebagai titik keberangkatan Benedict Arnold setelah ia beralih kesetiaan dan menyerbu sepanjang Sungai James (termasuk Richmond) pada tahun 1781. Mereka memiliki sebelas anak sebelum Susan Ruffin meninggal pada tahun 1846, meskipun sebagian besar akan meninggal sebelum Perang Saudara Amerika berakhir dan ayah mereka bunuh diri: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, yang meninggal di Pertempuran Drewry's Bluff
), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; lulusan VMI yang selamat dari perang), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) dan George Champion Ruffin (1845-1913).