Sugiyama blev født i en tidligere "samurai" familie fra Kokura (nu en del af Kitakyushu City), Fukuoka Prefecture, og dimitterede fra den 12. klasse af Imperial Japanese Army Academy i 1901. Han tjente som junior officer med 3. bataljon af 14. regiment af IJA 12. division i den russisk-japanske krig, og blev såret i ansigtet under slaget ved Shaho.
- Hvad? På grund af arene fra den skade, kunne han ikke helt åbne sit højre øje.