W celu rychłego ratyfikowania jej przez poszczególne stany, James Madison, wraz z Alexandrem Hamiltonem i Johnem Jayem opracował zbiór tekstów, który uznawany jest za pierwszy komentarz do konstytucji, zwany „Federalista”.
Izba Reprezentantów USA Po wejściu w życie Konstytucji, Madison został członkiem Izby Reprezentantów. W tym okresie zaczęły się kształtować środowiska polityczne, które później przerodziły się w partie – Madison wraz z Jeffersonem, gromadzili wokół siebie ludzi, którzy później tworzyli Partię Demokratyczno-Republikańską. Jako kongresmen, Madison zgłosił 10 pierwszych poprawek do Konstytucji, ustawę celną, a także przyczynił się do wdrożenia Rezolucji Wirginii, które były odpowiedzią na ustawy antybuntownicze administracji Johna Adamsa. W 1794 roku, gdy trwała wojna angielsko-francuska Madison zalecił stosowanie dyskryminacyjnych taryf celnych dla państw niemających umów handlowych z USA. Dzięki swoim działaniom, Madison zyskał uznanie nawet u George’a Washingtona, sympatyzującego z Federalistami, który zaproponował kongresmenowi stanowisko sekretarza stanu (jednak Madison odmówił).