Stauffenberg blev gift med Nina Freiin von Lerchenfeld den 26. september 1933 i Bamberg. De fik fem børn: Berthold; Heimeran; Franz-Ludwig; Valerie; og Konstanze, der blev født i Frankfurt på Oder efter Stauffenbergs henrettelse. Berthold, Heimeran, Franz-Ludwig og Valerie, der ikke blev fortalt om deres fars gerning, blev placeret i et plejehjem for resten af krigen og blev tvunget til at bruge nye efternavne, da Stauffenberg blev betragtet som tabu.
fem