Fra 1954 boede Oppenheimer flere måneder om året på øen Saint John på De Amerikanske Jomfruøer. I 1957 købte han en 2 hektar stor grund på Gibney Beach, hvor han byggede et spartanisk hjem på stranden.
2 hektar