Yoritomo dorastał na wygnaniu. W 1179 r. wszedł do klanu Hōjō, kierowanego przez Tokimasę Hōjō. Ożenił się z jego córką, Masako Hōjō. Cały czas był informowany przez przyjaciół o wydarzeniach w Kioto; wkrótce wygnanie Yoritomo miało się skończyć.
Wezwanie do walki i początek wojny Gempei (1180–1185) thumb|Malowidło na zwojach Minamoto no Yoritomo, koniec XIV wieku thumb|Stylizowany podpis Yoritomo (kaō) W 1180 książę Mochihito, syn byłego cesarza Go-Shirakawa, upokorzony przez Taira z powodu osadzenia na tronie bratanka Kiyomoriego, cesarza Antoku, wezwał do walki wszystkie klany razem z Minamoto przeciw klanowi Taira. Yoritomo postanowił wziąć udział w tym konflikcie, także z powodu śmierci Yorimasy Minamoto i księcia Mochihito (w bitwie nad Uji). Yoritomo stanął na czele klanu Minamoto i ze wsparciem finansowym klanu Hōjō, rodziny jego żony, założył nową stolicę w Kamakurze na wschodzie kraju. Nie wszyscy członkowie klanu uznali go za prawowitego spadkobiercę rodu. Jego wuj Yukiie Minamoto i jego kuzyn Yoshinaka Minamoto spiskowali przeciw niemu.