Han blev født den 20. juni 1937 som søn af kaptajn John Davidson Hill Hoyt (1898-1943), der tjente i 307. bombegruppe, 372. bombeskadron og blev dræbt i et flystyrt ud for Kauai, Hawaii. Hans bedsteforældre på faders side var William B. Hoyt, en leder i Pierce-Arrow Motor Car Company, og Esther Lapham (født Hill) Hoyt. Hans tante, Esther Hoyt, var hustru til Ansley Wilcox Sawyer, en nevø af Ansley Wilcox (en ven af Theodore Roosevelt, hvis hjem på Delaware Avenue var stedet for Roosevelts indvielse efter mordet på
af præsident William McKinley).