We wschodnim schodkowym szczycie znajdują się gotyckie wnęki, a w zachodniej części przyziemia – przejazd zamknięty półokrągłym łukiem. Prawdopodobnie w XVIII wieku na budynku zainstalowano dwa zegary słoneczne. Od 1804 urzędował w nim sołtys oliwski. W 1836 wnętrze przebudowano, likwidując m.in. kaplicę, przystosowując budynek do roli sołectwa i zakładając w nim dwie cele dla przestępców. Urząd sołecki funkcjonował tu do 1910. Później budynek służył celom mieszkalnym. W 1945, pod koniec II wojny światowej, Dom Zarazy częściowo spłonął – jego odbudowa zakończyła się w 1963, a cztery lata później został wpisany do rejestru zabytków. Ulokowano w nim siedziby organizacji kulturalnych.
Współczesność Od 2002 w Domu Zarazy działa Stowarzyszenie „Stara Oliwa”, którego założycielką była Danuta Rolke-Poczman. Następnie w latach 2008–2021 działał tam Teatr z Polski 6 prowadzony przez Ryszarda Jaśniewicza i jego żonę Gabrielę Pewińską-Jaśniewicz, wystawiający monodramy autorstwa małżeństwa.
Stowarzyszenie „Stara Oliwa” próbowało wypromować nazwę Dom Sąsiedzki, ale tradycyjna nazwa Dom Zarazy wciąż dominuje w użyciu.