Sandusky begyndte som træner i Villanova i to år, før han blev ansat som assistent hos Baltimore Colts i 1959. Han tilbragte 13 sæsoner i Baltimore med at overvåge de offensive og defensive linjer under hovedtrænerne Weeb Ewbank, Don Shula og Don McCafferty. Ledt af quarterback Johnny Unitas, vandt Colts en NFL mesterskab
I 1959 og slog Dallas Cowboys for at vinde Super Bowl V i 1970. Da McCafferty blev fyret midt i sæsonen i 1972, erstattede Sandusky ham som hovedtræner. Sandusky selv blev dog fyret efter sæsonen og tilbragte tre år som assistent for Philadelphia Eagles, efterfulgt af 19 sæsoner med Miami Dolphins under Shula. Hans søn Gerry er radiomoderator i Baltimore og ringer til Baltimore Ravens-kampe.