Empat tahun kemudian, Heinz lolos ke tim Luksemburg untuk kedua kalinya, sebagai pemain berusia 23 tahun, di Olimpiade Musim Panas 2004 di Athena. Dia mencapai waktu masuk standar B dari 26,41 (50 m gaya bebas) dan 57,14 (100 m gaya bebas) dari European Long Course Meet di Luxembourg. Dalam 100 m gaya bebas, Heinz mengalahkan Ágnes Mutina dari Hongaria untuk mengambil posisi kelima di heat tiga dan ke-36 secara keseluruhan dengan selisih 0,70 detik, dengan waktu 57,40. Dalam 50 m gaya bebas
, Heinz menyentuh Ragnheiður Ragnarsdóttir dari Islandia untuk kemenangan kelima dengan selisih satu perseratus (0,01), memecahkan rekor Luksemburg 26,35 detik. Kemenangannya yang mengamuk tidak cukup untuk membuatnya lolos ke semifinal, karena Heinz menempati posisi ketiga puluh dari 75 perenang di babak awal pagi.