Efter sæsonen 2003/04 forlod Modrý Kings som ubegrænset fri agent og underskrev med Atlanta Thrashers. Han vendte tilbage til den tjekkiske Extraliga og spillede for HC Liberec under 2004-05 NHL lockout. Efter kun en sæson med Atlanta blev Modrý handlet sammen med Patrik Štefan til Dallas Stars for Niko Kapanen og en
2006 7. runde udvælgelse. Efter at have spillet halvdelen af 2006-07 sæsonen med Stars, sendte Dallas ham tilbage til Kings som en del af en deadline-dag aftale for at erhverve tidligere Kings holdkammerat Mattias Norström. Et år senere i den følgende sæson var Modrý på farten igen, da Kings handlede ham til Philadelphia Flyers for et 3. runde udkast i 2008.