Den 1. december 1914 blev han indkaldt til militærtjeneste. Et år senere, i 1915, udgav han sin første fortælling i tidsskriftet Die Freie Straße ["Fri gade"]. I 1916 blev Graf næsten stillet for krigsretten for at have nægtet en kommando. Efter en ti-dages sultestrejke blev han i stedet sendt til et psykiatrisk hospital og senere udskrevet fra militæret.
I 1915