Naprzeciwko kościoła, u zbiegu z ul. Mostową, mieściła się miejska łaźnia utworzona w roku 1376. Pozostała, drewniana zabudowa spłonęła podczas wielkiego pożaru miasta w roku 1607, który nie oszczędził również budynków kościoła św. Ducha.
Na przełomie XVI/XVII wieku większość domów przebudowano; fasady otrzymywały cechy renesansu, manieryzmu i wczesnego baroku. 1 lipca 1656 podczas walk ze Szwedami w czasie szturmu wojsk polskich poważnie uszkodzony został odcinek w murów miejskich i Bramy Nowomiejskiej, odbudowanej potem w innym kształcie.
Pod koniec XVII wieku, kiedy wraz z rozwojem techniki wojskowej miejskie obwarowania straciły na znaczeniu, zaczęto zabudowywać międzymurze, używając murów jako ścian konstrukcyjnych powstających kamienic; w pierwszej połowie XVIII wieku we wnętrzu barbakanu powstała tzw. Piwnica Gdańska, mieszcząca skład towarów kupców z tego miasta. Dawne budynki gospodarcze stojące w linii zabudowy ul. Szeroki Dunaj w XVIII wieku stopniowo przekształcano na obiekty mieszkalne, zaś mieszkańcami ulicy zazwyczaj byli zamożni patrycjusze.
W roku 1818 zburzono niezabudowany bok Barbakanu od strony ul. Podwale i obydwie Bramy Nowomiejskie, tworząc na ich miejscu targ.