Han blev født i Stauffenberg slottet i Jettingen mellem Ulm og Augsburg, i den østlige del af Schwaben, på det tidspunkt i kongeriget Bayern, en del af det tyske imperium. Han var den tredje af fire sønner, herunder tvillingerne Berthold og Alexander og sin egen tvillingebror Konrad Maria, der døde i Jettingen en dag efter fødslen den 16. november 1907. Hans far var Alfred Klemens Friedrich Philipp Justinian, den sidste Oberhofmarschall af kongeriget Württemberg. Hans mor var Caroline Schenk von Stauffenberg, née Gräfin von Üllx-Gyllen, den stående adelstitel af Alfred August Graf von Üllx-Gyllen, den stående adelstitel af Alfred August Graf von Üllx-Gyllen og Präfinerie von Hessen, på det tidspunkt i kongeriget Bayern, en del af det tyske imperium. Han var den tredje af fire sønner, herunder tvillingerne Berthold og Alexander og sin egen tvillingebror Konrad Maria, der døde i Jettingen en dag efter fødslen den 16. november 190
16. november 1907