S McLarenom Prosta in Nikijem Laudo je Arnoux imel manj uspešno drugo sezono v Ferrariju, kjer je končal na 6. mestu s 27 točkami, njegov novi soigralk Michele Alboreto pa je postopoma prevzel pobudo in vodstvo ekipe od njega. Po treh zmagih in štirih pole pozicijah leta 1983 Arnoux ni uspel zmagati ali osvojiti pole pozicije leta 1984 (Alboreto je osvojil Belgijsko Grand Prix iz polea z Arnouxom, ki je začel drugi in končal tretji), čeprav je končal drugi v San Marinu
in Dallas, kjer je bil prisiljen začeti iz boks zaradi električne napake na ogrevalni krogu in uspelo ohraniti svoj avto iz težav na razpadajoči progi. Edina Grand Prix, ki je bila kdajkoli v Dallasu, je bila tudi zadnjič, ko je Arnoux dosegel podij v Formuli 1. Ko je sezona napredovala, se je zdelo, da Arnouxu primanjkuje motivacije, in potem ko je končal na 4. mestu v uvodni dirki prvenstva v Braziliji, je zapustil Ferrari po medsebojnem soglasju. Njegovo mesto v ekipi je prevzel švedski voznik Stefan Johansson. Videl ga je v Brabhamovih bazenih v Imoli v 3. krogu, kar je sprožilo govorice, da se bo pridružil ekipi, ki jo je takrat imel Bernie Ecclestone, vendar ni bilo nič od tega in redko je bil viden na dirkah do konca sezone.