For 1981 fulgte Hart Toleman ind i Formel 1 med en firesylindret 1,5-liters turbomotor kaldet 415T. Men året var en katastrofe, da Brian Harts lille virksomhed ikke kunne holde trit med bedre finansierede virksomheder. Toleman-biler kvalificerede sig kun to gange. Hart fortsatte dog, med det bedste resultat fra det femårige forhold med Toleman, da Ayrton Senna tog andenpladsen ved Monaco Grand Prix 1984 og Toleman hævdede 7. i Konstruktionsmesterskabet. Teo Fabi tog også pole position i en Toleman-Hart ved Tysklands Grand Prix i 1985
, den første af kun to F1 pæle af en Hart-drevne bil.