Kipyegos første internationale højdepunkt kom som junior ved IAAF World Cross Country Championships i 2005, hvor han vandt sølvmedaljen i juniorløbet for at danne en kenyansk sweep af medaljer sammen med Augustine Choge og Barnabas Kosgei. På verdensmesterskabet i langrenn i 2007
han vandt bronzemedaljen i seniorløbet, mens det kenyanske hold, han var en del af, vandt holdkonkurrencen. I 2008 blev han tiende individuelt og vandt endnu en holdguldmedalje. Han deltog også i IAAF World Athletics Final i 2008, hvor han kom på ottende plads i 5000 meter på banen.