Dia lahir pada tanggal 20 Juni 1937, putra Kapten John Davidson Hill Hoyt (1898<unk>1943), yang bertugas dengan 307th Bomb Group, 372d Bombardment Squadron dan tewas dalam kecelakaan di lepas pantai Kauai, Kepulauan Hawaii. Kakek dan nenek dari pihak ayahnya adalah William B. Hoyt, seorang eksekutif dengan Pierce-Arrow Motor Car Company, dan Esther Lapham (née Hill) Hoyt. Bibinya, Esther Hoyt, adalah istri Ansley Wilcox Sawyer, keponakan Ansley Wilcox (sahabat Theodore Roosevelt yang rumahnya di Delaware Avenue adalah tempat pelantikan Roosevelt setelah pembunuhan
Presiden William McKinley).