Med McLaren'erne fra Prost og Niki Lauda dominerende, havde Arnoux en mindre succesfuld anden sæson hos Ferrari, hvor han kun sluttede på 6. plads med 27 point, med sin nye holdkammerat Michele Alboreto, der gradvist tog initiativet og holdledelsen fra ham. Efter tre sejre og fire pole positioner i 1983 kunne Arnoux ikke vinde eller hævde en pole position i 1984 (Alboreto vandt det belgiske Grand Prix fra pole med Arnoux start anden og afslutter tredje), selv om han sluttede anden i
San Marino og Dallas, hvor han blev tvunget til at starte fra boksene på grund af en elektrisk fejl på opvarmningsrunden og formåede at holde sin bil ude af problemer på det smuldrende spor. Det eneste Grand Prix, der nogensinde blev afholdt i Dallas, var også den sidste gang, Arnoux opnåede en podiumplade i Formel 1. Efterhånden som sæsonen skred frem, syntes Arnoux at mangle motivation, og efter at have afsluttet 4. i åbningsløbet i mesterskabet i Brasilien, forlod han Ferrari efter gensidig aftale. Hans plads i holdet blev overtaget af den svenske kører Stefan Johansson. Han blev set i Brabham pits på Imola i runde 3, der udløste rygter om, at han ville slutte sig til holdet, der dengang ejes af Bernie Ecclestone, men intet kom ud af det, og han blev sjældent set på løb for resten af sæsonen.