Der er omkring 200 grave på øen, der dateres fra 1820 og fremefter, heriblandt den berømte antarktiske opdagelsesrejsende Sir Ernest Shackleton (død 1922) hvis britiske Antarktis-ekspedition
(1908-09) etablerede ruten til Sydpolen, som efterfølgende blev fulgt af Robert Scott. I en af de mest bemærkelsesværdige småbådsture i søfartshistorien (sandsynligvis kun rivaliseret med den af "Bounty"-løjtnant William Bligh) krydsede Shackleton i 1916 Scotia Sea i den 7 m lange "James Caird" for at nå South Georgia og organisere den vellykkede redning af hans ekspeditionsteam, der var strandet på Elephant Island efter tabet af deres skib Endurance. Undervejs vandrede Shackleton sammen med Frank Worsley og Tom Crean over øens isfyldte og robuste terræn mellem King Haakon Bay og hvalfangstststationen Stromness.