Historia posesji i budynku Działka, na której obecnie stoi budynek Instytutu, od połowy XVI wieku należała do klasztoru bernardynów, którzy na sąsiedniej działce wybudowali kościół św. Anny. W 1603 roku klasztor został powiększony, obejmując teren działki. Nowe dwukondygnacyjne skrzydło, którego parter miał formę krużganków, służyło głównie za zajazd (zwany również hospicjum), przeważnie dla szlachty zjeżdżającej się do Warszawy na sejmy. W pierwszej połowie XVII wieku hospicjum zamieszkiwali również nuncjusze apostolscy. W drugiej połowie tego wieku na parterze hospicjum znajdowała się apteka klasztorna, a na I piętrze – mieszkania kleryków. W 1634 roku dobudowano do budynku bibliotekę i lektorium (istniejące do dziś). Podczas potopu szwedzkiego o kościół i klasztor toczyły się zażarte walki, Szwedzi bronili się w nich przed nacierającymi wojskami Jana Kazimierza. Mimo to budynki nie zostały zniszczone, jednak w 1657 roku zostały z premedytacją spalone. W 1783 roku wybudowano południowe przedłużenie zachodniego skrzydła konwentu, tworząc połączenie z sąsiednim pałacem Zamoyskich (obecnie w tym miejscu stoi Resursa Obywatelska). Nad bramą prowadzącą na dziedziniec utworzono kordegardę straży marszałkowskiej. W czasie insurekcji kościuszkowskiej była tu straż miejska.