W 1181 zmarł Kiyomori Taira, a nową głową klanu został Munemori Taira. Munemori prowadził bardziej agresywną politykę niż jego poprzednik w stosunku do klanu Minamoto, atakując ich formacje w Kioto. Yoritomo był jednak dobrze ufortyfikowany w Kamakurze. Jego bracia, Yoshitsune Minamoto i Noriyori Minamoto pokonali klan Taira w kilku kluczowych bitwach, ale nie mogli jednocześnie powstrzymać Yoshinakę Minamoto, rywala Yoritomo przed zajęciem Kioto w 1183, jak i gonić za klanem Taira na południe, którzy zabrali ze sobą cesarza Antoku. Sytuacja ta zmusiła klan Minamoto do osadzenia na tronie brata Antoku, Go-Toba, jako nowego cesarza.
W 1180 Yoritomo został pokonany w bitwie pod Ishibashiyamą. Była to jego pierwsza poważna porażka, ale nie wpłynęła ona na jego politykę opanowania arystokracji obszaru Kantō, która w szybkim czasie uznała jego władzę. Między 1181 a 1184 istniał rozejm z rodem Taira, który umożliwił Yoritomo rozbudowanie własnej administracji, skupionej wokół jego dowództwa wojskowego w Kamakurze. W końcu zwyciężył swoich rywali, którzy starali się odebrać mu władzę. Yoritomo ustanowił w ten sposób nową kastę samurajów i założył pierwsze „rządy spod namiotu” (jap. bakufu) w Kamakurze.