Kiyomori popierał cesarza Nijō, który był synem Go-Shirakawy. Miał poparcie Nobuyoriego Fujiwary. Tymczasem Yoshitomo stał się stronnikiem byłego cesarza Go-Shirakawy, ich starego sojusznika Tadamichiego Fujiwary i uczonego-dworzanina Michinoriego Fujiwary. Okres ten znany był jako zamieszki ery Heiji. Klan Minamoto nie był dobrze przygotowany i klan Taira przejął kontrolę nad Kioto.
W następstwie, nastały trudne czasy dla klanu Minamoto i jego sojuszników. Michinori Fujiwara i Tadamichi Fujiwara zostali skazani na śmierć, kiedy pałac byłego cesarza Go-Shirakawa został doszczętnie spalony przez klan Taira. Yoshitomo uciekł ze stolicy, jak tylko klan Taira uderzył w 1160, ale został zdradzony i zamordowany przez wynajętych ludzi w prowincji Owari. Dla Yoritomo, nowej głowy klanu Minamoto, oznaczało to zesłanie do miejscowości Hiru-ga-shima, w prowincji Izu, która w tym czasie była pod rządami klanu Hōjō. Kiyomori z klanu Taira był już niekwestionowanym przywódcą Japonii. Yoritomo nie został skazany na śmierć przez Kiyomoriego dzięki prośbom macochy Kiyomoriego, Ikenozenni. Brata Yoritomo, Noriyori Minamoto, także skazano na wygnanie. Podczas gdy Yoshitsune Minamoto, inny brat, zmuszony został udać się do klasztoru. Pozostałe rodzeństwo zostało stracone.