Kovačić blev født i Linz, Østrig, til bosniske kroatiske forældre, der var flyttet dertil fra Kotor Varoš i Bosnien-Hercegovina, Kovačić begyndte at spille i en tidlig alder på den lokale LASK Linz akademi. I 2007, da Kovačić var 13, blev han opdaget af spejdere fra flere fremtrædende europæiske klubber, herunder Ajax, Inter Milan, Juventus og Bayern München, men hans familie valgte at flytte til Zagreb i stedet, hvor han sluttede sig til akademiet for kroatiske giganter Dinamo Zagreb.
13