Budynek został całkowicie przebudowany w latach 1896–1898. Stary budynek zburzono, wznosząc w jego miejsce nowy, który był jednym z pierwszych o konstrukcji stalowej w Londynie. Fasada z widokiem na plac świętego Jakuba została wykonana z wapienia portlandzkiego. Czytelnia główna została umieszczona na pierwszym piętrze z trzema wysokimi oknami, doświetlającymi regały książek umieszczone wzdłuż ścian. Zabytkowy budynek był od tego czasu kilkakrotnie rozbudowywany, w latach dwudziestych, trzydziestych i dziewięćdziesiątych XX wieku.

W lutym 1944 roku podczas II wojny światowej, północne magazyny zostały zburzone, gdy na budynek spadła bomba. Zniszczeniu uległo 16 000 tomów. Chociaż biblioteka została ponownie otwarta w lipcu tego samego roku, remonty budynków zostały zakończone dopiero na początku lat pięćdziesiątych.

W 1995 roku zostało ukończone nowe skrzydło – Anstruther Wing, nazwane na cześć dobroczyńcy Iana Anstruthera, wychodzące na Duke Street. Dzięki temu, magazyn książek został powiększony o pięć pięter. Pomieszczenie przeznaczono na 25 000 najrzadszych tomów biblioteki.