Życie prywatne Czterokrotnie żonaty. Jego pierwszą żoną w latach 1975–1986 była Miyako Fujitani, z którą ma dwójkę dzieci: Kentaro Seagal (ur. 1976) i Ayako Fujitani (ur. 1979). W 1984 był krótko żonaty z Adrienne La Russa, małżeństwo anulowano. 5 września 1987 poślubił Kelly LeBrock, z którą ma trójkę dzieci: Annalizę (ur. 1987), Arissę (ur. 1993) i Dominicka (ur. 1990). Para rozwiodła się w 1996 roku. W 2009 zawarł związek małżeński z Erdenetuyą Batsukh, z którą ma jedno dziecko. Ma także córkę Savannah (ur. 1996) z Arissą Wolf.

Ukończył akademię policyjną. Został zastępcą szeryfa w parafii Jefferson (odpowiednik hrabstwa) w Luizjanie. Interesuje się buddyzmem tybetańskim. Oprócz sztuk walki poznawał także medycynę naturalną, między innymi akupunkturę i ziołolecznictwo.

Konflikty z aktorami i inne kontrowersje W wywiadzie udzielonym dla Los Angeles Times w 1988 roku powiedział, że pracował dla CIA, ze względu na swą znajomość sztuk walki oraz umiejętności językowe. Stwierdził też, że w 1979 roku pomagał szachowi Iranu Mohammadowi Pahlawiemu oraz członkom jego rodziny w bezpiecznej ucieczce z kraju i ochraniał ich domy w Londynie i Paryżu. Przypisał też sobie, że ochraniał abp. Desmonda Tutu oraz egipskiego prezydenta Sadata. CIA nie potwierdziło, by przeprowadzało takie operacje.