Powstał według projektu architekta Georga Christiana Ungera, który na polecenie pruskiego króla Fryderyka II Wielkiego oparł swoją pracę o pochodzące z lat 1725–1726 niezrealizowane plany austriackiego architekta Josepha Emanuela Fischera von Erlacha dla Michaelertraktu, północnej fasady wiedeńskiego Hofburga, ostatecznie wybudowanej dopiero w 1890 roku. Po oddaniu do użytku gmach, będący pierwszym samoistnym budynkiem bibliotecznym w Berlinie, stał się siedzibą założonych w 1661 roku Królewskich Zbiorów Książek, które udostępniono wszystkim mieszkańcom Berlina. Dotychczas zbiory mieściły się w skrzydle aptecznym zamku berlińskiego i były dostępne tylko dla zarejestrowanych gości.
thumb|left|Alte Bibliothek w 1909 roku Pomimo czterokondygnacyjnego podziału fasady budynek początkowo miał tylko dwie kondygnacje – biblioteka, której wyposażenie zaprojektował architekt Karl von Gontard mieściła się tylko na tej górnej, natomiast dolna do 1814 roku pełniła funkcję magazynu montażowego, a później ulokowany był tu skład dekoracji pobliskiej Opery. W 1840 roku przeprowadzono przebudowę gmachu, w wyniku której zyskał on cztery kondygnacje w całości przeznaczone do celów bibliotecznych. Kolejne lata to dla biblioteki rozwój w jedną z najważniejszych tego typu instytucji w krajach niemieckojęzycznych.