Lengkapi kalimat berikut: Dengan McLaren dari Prost dan Niki Lauda mendominasi, Arnoux memiliki musim kedua yang kurang sukses di Ferrari, hanya menempati posisi ke-6 dengan 27 poin, dengan rekan setim barunya Michele Alboreto secara progresif mengambil inisiatif dan kepemimpinan tim darinya. Setelah tiga kemenangan dan empat posisi terdepan pada tahun 1983, Arnoux gagal untuk menang atau mengklaim posisi terdepan pada tahun 1984 (Alboreto memenangkan Grand Prix Belgia dari posisi terdepan dengan Arnoux memulai kedua dan finis ketiga), meskipun ia finis kedua di
San Marino dan Dallas di mana ia dipaksa untuk memulai dari pit karena kesalahan listrik pada putaran pemanasan dan berhasil menjaga mobilnya keluar dari masalah di trek runtuh. Satu-satunya Grand Prix yang pernah diadakan di Dallas juga merupakan terakhir kali Arnoux mencapai podium Formula Satu. Seiring berjalannya musim, Arnoux tampaknya kurang motivasi, dan setelah finis di posisi ke-4 dalam balapan pembukaan kejuaraan di Brasil, ia meninggalkan Ferrari dengan persetujuan bersama. Posisinya di tim diambil oleh pembalap Swedia Stefan Johansson. Dia terlihat di pit Brabham di Imola di Putaran 3, memicu desas-desus bahwa dia akan bergabung dengan tim yang dimiliki oleh Bernie Ecclestone, tetapi tidak ada yang terjadi dan dia jarang terlihat di balapan selama sisa musim.