Efter afslutningen af sin aktive karriere blev Rulffs skolelærer, men i 1965 hentede hans tidligere træner ham tilbage til rosporten som hjælpetræner. Fra 1968 var han hovedansvarlig for de vesttyske ottere, en position han beholdte indtil 1981, hvor han vendte tilbage til lærergerningen.<ref name=oly /><ref>{{kilde | url = https://www.dosb.de/sonderseiten/news/news-detail/news/zwei-olympiasieger-aus-dem-rom-achter-von-1960-gestorben | titel = Zwei Olympiasieger aus dem Rom-Achter von 1960 gestorben | udgiver = dosb.de | dato = {{dato|22-2-2007}} | sprog = tysk | hentet = {{dato|11-3-2022}} }}</ref>
Personbillede_savnes