I juli 1941 blev Hickory Hill hjemsted for den nyudnævnte associerede dommer i USA's højesteret, Robert H. Jackson, og hans kone, Irene, som i 1955, efter hans død, solgte Hickory Hill til USA's senator John F. Kennedy (D-Massachusetts) og hans kone, Jacqueline. Efter den demokratiske landsmøde i 1956
Efter præsident Kennedy's død blev huset solgt til John's bror Robert F. Kennedy og hans kone, Ethel, som havde en voksende familie (eventuelt elleve børn). Mens han boede på Hickory Hill, blev Robert Kennedy statsadvokat i USA i 1961, senator i 1965 og præsidentkandidat i 1968.