Przedwojenna Grzybowska pełna była kontrastów: obok drewnianych zabudowań stały wielopiętrowe kamienice czynszowe; działał też odizolowany rzędem kamienic browar Haberbusch i Schiele, który w międzyczasie niemal zmonopolizował stołeczne piwowarstwo. Ulicę wybrukowaną „kocimi łbami” oświetlały gazowe latarnie, zachowane do lat sześćdziesiątych XX wieku.
Zabudowa ulicy ucierpiała w czasie obrony Warszawy we wrześniu 1939. Spłonęła zabudowa w rejonie placu Grzybowskiego oraz browar Kazimirusa u zbiegu z ul. Ciepłą. Od listopada 1940 wschodni odcinek Grzybowskiej od ul. Granicznej do ul. Żelaznej znalazł się w obrębie warszawskiego getta. Na krótkim odcinku między ulicami Żelazną i Waliców wzdłuż Grzybowskiej biegł mur dzielnicy zamkniętej. Przy ulicy Żelaznej znajdowała się również jedna z głównych bram do tzw. małego getta, co od 2008 upamiętnia jeden z pomników granic getta. Budynek mieszczący przed wojną Zarząd Warszawskiej Gminy Starozakonnych (nr 26/28) podczas okupacji stał się siedzibą Judenratu; w nim 23 lipca 1942 popełnił samobójstwo jego prezes Adam Czerniaków. Ulica została w całości wyłączona z getta i włączona do „aryjskiej” części miasta wraz z całym tzw.