Tre år senere i 1159 satte Yoshitomo og Fujiwara no Nobuyori Go-Shirakawa i husarrest og dræbte hans tjener, den lærde Fujiwara no Michinori, i det, der kaldes Heiji-oprøret. Til sidst besejrede Taira no Kiyomori, til støtte for Go-Shirakawa, Yoshitomo. Mens han flygtede fra Kyoto, blev Yoshitomo tvunget til at dræbe sin søn Tomonaga. Senere blev Yoshitomo forrådt og dræbt i sit bad. Tre af hans sønner, Yoritomo, Minamoto no Yoshitsune og Minamoto no Noriyori, blev senere skånet og forvist af Kiyomori.
Træsværd