Przez pięć miesięcy w 1180 r. na terenie dzisiejszej dzielnicy Hyōgo mieściła się siedziba cesarza Antoku (1178–1185) o nazwie Fukuhara-kyō. W 1184 r. na terenie tym i w pobliżu chramu Ikuta miała miejsce bitwa pod Ichi-no-Tani, jedna z bitew wojny Gempei pomiędzy klanami Taira i Minamoto.
Od XIII w. port w Kobe nazywano portem Hyōgo. W 1868 r. Kobe, w wyniku restauracji Meiji, zostało razem z Osaką otwarte dla przybyszów z Zachodu, jako jedno z pierwszych japońskich miast. Do dziś w Kobe zachowała się pewna liczba zachodnich rezydencji, głównie w rejonie Kitano. W dzisiejszym kształcie miasto zostało założone w 1889 roku. Mieszka tu ponad 45,5 tysiąca obcokrajowców z ponad 100 państw.
Podczas II wojny światowej Kobe zostało zbombardowane podczas rajdu Doolittle’a w dniu 18 kwietnia 1942 r. (wraz z Tokio i kilkoma innymi miastami), a 17 marca 1945 r. bombami zapalającymi przez bombowce B-29Ta tragedia miasta stała się inspiracją do stworzenia pełnometrażowego filmu anime pt. Grobowiec świetlików (Hotaru no haka) z 1988 roku, w reżyserii Isao Takahaty, na podstawie opowiadania Akiyukiego Nosaki..
W 1995 r. miało tu miejsce trzęsienie ziemi, na skutek którego zginęło ponad 6,5 tys. osób.