Rozehnal begyndte sin karriere i SK Sigma Olomouc, hvor hans præstationer gav ham en plads i Tjekkiets U21-hold. I 2003 blev han signeret af den belgiske klub Club Brugge. I 2004 spillede Rozehnal for Tjekkiet i
Europameisterskabet, hvor holdet nåede til semifinalen, før de blev slået ud af Grækenland. Han vandt den belgiske Cup i sin første sæson med Brugge og den belgiske liga i 2005. Han underskrev for Paris Saint-Germain i juni 2005.