Morse nikah jeung Lucretia Pickering Walker tanggal 29 Séptémber 1818, di Concord, New Hampshire. manéhna maot tanggal 7 Pébruari 1825, teu lila sanggeus kalahiran anak katilu maranéhanana (Susan b. 1819, Charles b. 1823, James b. 1825). manéhna nikah jeung pamajikan kadua, Sarah Elizabeth Griswold tanggal 10 Agustus 1848, di Utica, New York sarta miboga opat anak (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica