Władze kahału w zamian za teren szpitala przekazały fundacji Latza obszar zajmowany przez zespół trzech gminnych synagog przy ulicy Żydowskiej (były to kolejno: Stara Synagoga, Nowa Synagoga i Synagoga Nehemiasza) i 60 tys. marek na budowę nowego zakładu dobroczynnego, a na czas jego budowy udostępniły pacjentom dom przy ulicy Żydowskiej 32 (narożnik ul. Dominikańskiej). Ostatnie fragmenty szpitala Latza rozebrano pod koniec września 1904 roku.
Architektura Kompleks zabudowań szpitala składał się z piętrowego budynku głównego połączonego z oficynami po obu jego stronach oraz jednej wolnostojącej oficyny na lewo od niego. Przechowywano w niej ciała zmarłych pacjentów oczekujących na pochówek. Zabudowania te odgradzały od ulicy obszerne podwórze na którym zlokalizowano wozownię, składnicę drewna, trzy altany wypoczynkowe, wodociąg i ogródek warzywno-owocowy. Dostęp do podwórza mieli wyłącznie pacjenci oraz pracownicy zakładu.