Den 26. maj 1917 giftede Graf sig med Karoline Bretting. Et år senere blev deres datter Annemarie (13. juni 1918 <unk> 2008), kaldet Annamirl, født. I begyndelsen af samme år blev Graf arresteret for at deltage i en ammunitionsarbejderstrejke. Han mødte også kvinden, der senere blev hans anden kone, Mirjam Sachs, søster til Manfred George og en fætter til Nelly Sachs.
Graf blev anholdt.