W pierwotny projekt budynku zaangażowanych było kilku znaczących XIX-wiecznych amerykańskich architektów, m.in.: Robert Mills (1781–1855), Ithiel Town (1784–1844), Alexander Jackson Davis (1803–1892), Thomas Ustick Walter (1804–1887) i William Parker Elliot (1807–1854). Cztery skrzydła budynku zostały wykonane z piaskowca z Wirginii, z marmuru i granitu z Maine, Massachusetts, Connecticut i Maryland.
4 lipca 1836 roku prezydent Andrew Jackson wydał zgodę na budowę ognioodpornego gmachu dla Urzędu Patentowego. Budynek został zaprojektowany dla uczczenia amerykańskiej wynalazczości, technicznej inwencji i postępu naukowego, które to cechy miała uosabiać procedura przyznawania patentu.
W 1836 roku pod kierunkiem Roberta Millsa rozpoczęto budowę skrzydła południowego.
W 1840 roku Urząd Patentowy przeniesiono do skrzydła południowego; samo skrzydło zostało ukończone w 1842 roku. Budynek był przeznaczony do publicznej prezentacji modeli patentowych, które zostały przedłożone przez ich wynalazców.