Pochodził z wielodzietnej rodziny, miał łącznie szesnaścioro rodzeństwa. Brissot pozostawał w złych stosunkach z ojcem co doprowadziło do chęci szybkiego usamodzielnienia się. Do piętnastego roku życia kształcił się w szkole miejscowej, potem przez jakiś czas u boku swego wuja księdza, jednak szybko zdecydował się podjąć pracę w kancelarii adwokackiej w Chartes, a następnie w Paryżu. Ten filozof epoki rewolucyjnej posiadał budzące podziw wykształceniem w różnych dziedzinach wiedzy, między innymi władał czterema językami. Jednak swoje umiejętności zawdzięczał głównie swoim zdolnościom samouka. Z zamiłowaniem pochłaniał dzieła wielkich filozofów jednak największy wpływ wywarła na nim filozofia Rousseau.
Całkiem szybko Brissot porzucił karierę prawniczą na rzecz filozofii. W latach osiemdziesiątych starał się utrzymać z pracy pisarskiej jednak dochody starczały mu jedynie na podstawowe potrzeby. W końcu wydał swoją pierwszą książkę walczącą z ówczesnym ustrojem Theorie des loies criminelles, która zaprzepaściła jego szanse na karierę prawniczą jednak zakwalifikował go do grona filozofów oświecenia francuskiego. W wieku dwudziestu siedmiu lat wziął ślub ze swoją młodzieńczą miłością Felicite Dupont.