Na skutek pobicia przez Gestapo oraz awitaminozy Madej powoli tracił wzrok, w 1951 tracąc go całkowicie.
Madej był świadkiem na ślubie Michaliny Tatarkówny-Majkowskiej i Karola Majkowskiego.
W 1959 przeszedł 2 zawały serca. Zmarł w Warszawie, pochowany na cmentarzu komunalnym Doły w Łodzi (kwatera IV-3-3).
Ordery i odznaczenia Order Sztandaru Pracy I klasy (1979) Order Sztandaru Pracy II klasy (1957) Krzyż Kawalerski Orderu Odrodzenia Polski (3 stycznia 1947) „za zasługi położone w dziele organizacji Komisji i jej delegatur oraz skutecznej walki z nadużyciami”. Złoty Krzyż Zasługi (dwukrotnie: 8 maja 1946 „w uznaniu zasług położonych dla dobra demokratycznej Polski w dziele zabezpieczenia porzuconego przez okupanta mienia, odbudowy i uruchomienia miejskich zakładów pracy, jak również stworzenia życia gospodarczego i społecznego na terenie m. Łodzi”., 1955) Krzyż Partyzancki (1951) Srebrny Medal „Zasłużonym na Polu Chwały” (1964) Medal 30-lecia Polski Ludowej (1972) Medal 10-lecia Polski Ludowej (1955) Srebrny Medal „Za zasługi dla obronności kraju” (1967) Srebrne Odznaczenie im.