Do pierwszych znaczących darowizn na rzecz nowej placówki należały: składający się z 24 ksiąg dar Napoleona Bonaparte, zawierający grafiki Piranesiego oraz donacja Williama Binhama – portret George’a Washingtona pędzla Gilberta Charlesa Stuarta. Po śmierci Clymera w 1813 roku prezesem Akademii został Joseph Hopkinson. Za jego kadencji powierzchnia wystawowa galerii wzrosła ponad dwukrotnie, a w kolekcji pojawiły się mistrzowskie dzieła sztuki. Hopkinson zmarł w 1842 roku pozostawiając Akademię w bardzo dobrej kondycji finansowej. W 1845 roku główny budynek galerii spłonął. W pożarze zniszczeniu uległa kolekcja odlewów rzeźb i kilka ważnych dzieł malarstwa europejskiego.
Po 1876 W 1876 roku otwarto obecny budynek muzeum, zaprojektowany przez amerykańskich architektów Franka Furnessa i George’a W. Hewitta, uznawany za istotny element dziedzictwa architektonicznego Stanów Zjednoczonych i Filadelfii i wpisany na listę National Historic Landmark. Budynek został starannie odrestaurowany w 1976 roku.