W roku 1968 Gainsbourg związał się z aktorką Jane Birkin. 21 lipca 1971 przyszła na świat ich córka Charlotte. Wspólnie wychowywali obie córki Birkin – najstarsza do 13. roku życia, tzn. do rozstania matki i Gainsbourga, żyła w przekonaniu, że jej biologiczny ojciec nie żyje. Burzliwy związek Birkin i Gainsbourga był wielokrotnie tematem z pierwszych stron gazet. Para rozstała się w 1980 z powodu alkoholizmu i wynikających z niego agresywnych zachowań Gainsbourga. Do jego śmierci pozostali najbliższymi przyjaciółmi. Gainsbourg został ojcem chrzestnym córki Jane Birkin i Jacques’a Doillona.
W latach 80. zawarł związek małżeński z piosenkarką , z którą miał syna Luciena „Lulu” Gainsbourga.
Serge Gainsbourg był osobowością budzącą kontrowersje. Kompleksy, nieśmiałość i wrażliwość skrywał pod maską cynizmu i arogancji. Uchodził za prowokatora i skandalistę. Znany był z mówienia wprost tego, co myślał – zwłaszcza pod wpływem alkoholu. W 1984 roku w nadawanym na żywo francuskim programie telewizyjnym, podpalił banknot 500-frankowy w akcie protestu przeciwko wysokim podatkom.