Był częstym gościem wielu talk shows, gdzie udzielał wywiadów na tematy takie jak jego związek z Marisą Berenson (1973), z którą rzekomo chciał się żenić, w lipcu 1970 byli razem na okładce magazynu „Vogue”. Opowiadał o erotycznych przygodach z Biancą i Mickiem Jaggerem, aktorem Tabem Hunterem, Nathalie Delon, Elizabeth Taylor, Ursulą Andress (1975), Jerry Hall, aktorką Marisa Mell (1976-78), brazylijskim piosenkarzem i aktorem Edy Starem i innymi gwiazdami rocka lat 70. i 80. Do jego kochanków należał także Rudolf Nuriejew, o czym pisze w swojej autobiografii, i Miguel Bosé.

19 listopada 1994 poślubił włoską scenarzystkę Francescę Guidato, jednak doszło do separacji. W 2004 Berger przeniósł się z Rzymu do Salzburga, gdzie zamieszkał z matką aż do jej śmierci w 2009. Zaprzeczył jednak o pogłoskach o trudnej sytuacji finansowej. Ogłosił także, że przestał zażywać narkotyki.

Od lipca do września 2015, przez zaledwie dziewięć tygodni, był w związku małżeńskim z o 37 lat młodszym projektantem Florianem Wessem, dopuszczając się bigamii i będąc wciąż w związku ze swoją żoną.