Jego kontrowersyjna reputacja "bohatera" wzięła się z tego, że zabił kilku skorumpowanych członków Shinsengumi i policji po zakończeniu wojny.
Ożenił się z Tokio Takagi, córką Kojūrō Takagi, oficera policji (metsuke) schyłkowego okresu Edo.
Po wojnie zmienił nazwisko na Gorō Fujita i pracował jako policjant. W drodze wyjątku posiadał pozwolenie na noszenie katany.
Saitō dużo pił. Mogło się to przyczynić do jego śmierci z powodu wrzodów żołądka w wieku 71 lat. Aż do śmierci nie ujawnił nic na temat swojej działalności w Shinsengumi.
Saitō w kulturze masowej Saitō stał się lepiej znany na Zachodzie po tym, jak jego postać została wykorzystana w kilku anime i mangach. Popularna seria Rurōni Kenshin przedstawia go jako antybohatera, niegdyś śmiertelnego wroga, a następnie niechętnego sprzymierzeńca głównego bohatera. W Rurōni Kenshin Saitō jest przedstawiony jako bardzo wysoki i zwyczajny z wyglądu mężczyzna, w zachowaniu chłodny i spokojny. Odpowiada to nielicznym opisom z jego życia.