Oprócz modeli patentowych na trzecim piętrze budynku wystawiono rządowe kolekcje historyczne, zbiory naukowe i dzieł sztuki, w tym Deklarację niepodległości Stanów Zjednoczonych i namiot polowy George’a Washingtona.

W latach 1849–1855 zbudowano skrzydło wschodnie, początkowo pod nadzorem Roberta Millsa, a od 1851 roku – Thomasa Usticka Waltera, architekta Kapitolu. Skrzydło to jest jedyną zachowaną do dziś częścią pierwotnego budynku. W latach 1852–1857 zbudowano skrzydło zachodnie, a w latach 1856–1868 skrzydło północne. thumb|240px|Budynek po pożarze w 1877

W latach 1849–1917 w budynku mieściły się różne biura Departamentu Spraw Wewnętrznych. Podczas wojny secesyjnej budynek był wykorzystywany jako szpital wojskowy i koszary. W marcu 1865 roku odbył się w nim bal inauguracyjny prezydenta Abrahama Lincolna. W 1877 roku w wyniku pożaru zniszczone zostały górne piętra skrzydła północnego i zachodniego; większą część trzeciego piętra odbudował Adolf Cluss w popularnym wówczas stylu wiktoriańskim.