V letu 1813 se je Ruffin poročil s Susan Hutchings Travis iz Williamsburga. Par se je preselil na plantažo, ki jo je Ruffin podedoval od svojega dedka, v Coggin's Pointu, ob reki James v okrožju Prince George, ki je bil označen kot izhodiščna točka Benedicta Arnolda, ko je leta 1781 zamenjal zvestobo in napadel ob reki James (vključno z Richmondom). Imela sta enajst otrok, preden je Susan Ruffin umrla leta 1846, čeprav je večina umrla pred koncem ameriške državljanske vojne in samomorom njunega očeta: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, ki je umrl v bitki pri Drewry's Bluff
Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; diplomant VMI, ki je preživel vojno), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) in George Champion Ruffin (1845-1913).