Hans første tid som træner for det israelske landshold (som varede i tre år), var to EuroBasket-optrædener (1985, 1987).
) og Israels historiske 7. plads i 1986 FIBA World Basketball Championship. Sherfs embede som hovedtræner for landsholdet sluttede efter det, der blev opfattet som en dårlig præstation på EuroBasket 1987 (11. plads), men Sherf vendte senere tilbage som holdets hovedtræner i årene 1991-97. I 2005 blev Sherf igen udnævnt til cheftræner for det israelske landshold, og den 1. januar 2008 blev han udnævnt til cheftræner for Maccabi Tel Aviv.