Goumris første internationale optræden for Marokko kom som junior ved IAAF World Cross Country Championships i 1995
, hvor han kom 25. og delte i bronze junior holdmedalje. Tidligt i sin karriere var han baseret i Norge. Han løb ved Tromsø Midnattsol Marathon 1997 og vandt med en tid på 2:30:54 timer. I 1999 vandt han det norske mesterskab på både 1500 meter og 5000 meter. Ligesom sin landsmænd Khalid Skah, der vandt det norske 5000 m-mesterskab i 1997, 1998 og 2000, repræsenterede Goumri atletikklubben IL i BUL. Han vandt på hinanden følgende Eurocross-møder i Luxembourg, efter at have vundet titlen i 2000 og 2001.