W okresie międzywojennym przy ulicy mieściły się m.in. księgarnie (m.in. Jakuba Mortkowicza), sklepy, salony sztuki, restauracje i kawiarnie (m.in. Mała Ziemiańska). Została wyasfaltowana ok. 1928 jako jedna z pierwszych ulic w Warszawie.
Zabudowa ulicy ucierpiała w czasie obrony Warszawy we wrześniu 1939.
7 marca 1941 w kamienicy pod nr 10 zespół bojowy Związku Walki Zbrojnej wykonał wyrok śmierci na aktorze i kolaborancie III Rzeszy Igo Symie. 10 maja 1943 zespół Kedywu Okręgu Warszawskiego Armii Krajowej zastrzelił na ul. Mazowieckiej kierownika grupy „E” (młodzieżowej) Arbeitsamtu (niemieckiego urzędu pracy) Fritza Geista, a 8 października 1943 żołnierze AK przeprowadzili w barze „Za Kotarą” znajdującym się w kamienicy nr 2 akcję likwidacyjną konfidenta Gestapo Józefa Staszauera.
Zabudowa ulicy została częściowo zniszczona w czasie powstania warszawskiego. Została odbudowana ok. 1950. Powojenne budynki nawiązują do przedwojennych kamienic wielkością i historyzacją elewacji, co sprawia, że pomimo wielkiego zubożenia dekoracji ich fasad ulica w pewnym stopniu przypomina przedwojenną.