Dia membangun Rumah Van Dorn di Port Gibson, sekarang terdaftar di Daftar Nasional Tempat Bersejarah. Dia juga membangun rumah lain di Grand Gulf, 16 km dari Port Gibson. Itu hancur selama Pertempuran Teluk Grand
pada tahun 1863 selama Perang Saudara Amerika; berdiri di tempat Grand Gulf Military State Park berdiri sekarang. Selain itu, ia memiliki perkebunan di Sungai Yazoo serta budak Afrika.