Kempf se je leta 1905 pridružil cesarski nemški vojski; po prvi svetovni vojni je služil v "Reichswehr" in kasneje v "Wehrmacht". Oktobra 1937 je Kempf prevzel poveljstvo novoustanovljene 4. pancerne brigade; januarja 1939 je bil povišan v generala. Na začetku druge svetovne vojne v Evropi je sodeloval pri invaziji na Poljsko kot poveljnik pancerne divizije Kempf, ki je bila znana tudi kot "Panzerverband Ostpreußen" (Panzer Group East Prussia) 3. armade pod Georgom von Küchlerjem. Kot poveljnik divizije je prejel kapitulacijo utrdbe Zakroczym, ki ji je sledil masakr v Zakroczymu ob zaključku bitke pri Modlinu.
-Kaj? Division se je vrnila v Vzhodno Prusijo ob koncu poljske kampanje, Kempf pa je bil imenovan za poveljnika 1. lahke divizije, preimenovane v 6. tankovsko divizijo, 18. oktobra 1939.