Morse giftede sig med Lucretia Pickering Walker den 29. september 1818 i Concord, New Hampshire. Hun døde den 7. februar 1825, kort efter fødslen af deres tredje barn (Susan b. 1819, Charles b. 1823, James b. 1825). Han giftede sig med sin anden kone, Sarah Elizabeth Griswold den 10. august 1848 i Utica, New York og havde fire børn (Samuel b. 1849, Cornelia b. 1851, William b. 1853, Edward b. 1857).
Utica