Ojciec Konstytucji thumb|200px|Scena podpisania Konstytucji USA 25 maja 1787 odbyła się w Filadelfii Konwencja Konstytucyjna, w której wziął udział Madison. Podczas prac nad projektem konstytucji silnie argumentował na rzecz silnego rządu federalnego i monteskiuszowskiego trójpodziału władzy, gdyż uważał, że ludzie pełniący funkcje publiczne mogą łatwo nadużywać władzy. Wraz z Alexandrem Hamiltonem był jednym z najaktywniejszych delegatów – wypowiadał się na 71, spośród 86 posiedzeń. Z tego też powodu, a także z powodu jego umiejętności mediacyjnych i skłonności do kompromisów, często nazywa się go „Ojcem Konstytucji Amerykańskiej”.
Największe kontrowersje wzbudzały wówczas: sposób wyboru członków Kongresu, a także reprezentacja niewolników. Ostatecznie zdecydowano się, by członkowie Izby Niższej (Izba Reprezentantów) byli wybierani na zasadzie proporcjonalności (stan bardziej zaludniony wybiera większą liczbę kongresmenów), natomiast członkowie Izby Wyższej (Senat) mieli jednakową reprezentację stanową. W przypadku niewolników zdecydowano, by 3/5 z nich uwzględniano w sprawach podatkowych i wyborczych. Projekt Konstytucji został podpisany 17 września 1787 roku.