W XIX wieku rozpoczęto stawianie tu murowanych budynków, powstała wówczas m.in. kamienica przy ul. 3 Maja 16. Pierwsze tego typu obiekty były parterowe i posiadały wysokie dachy, odnosząc się pod względem architektury zewnętrznej oraz rozplanowania wnętrza do starej, drewnianej zabudowy. Powstawanie murowanych budynków było jednak powolne, na skutek czego osiedle zachowało odrębny charakter od pozostałej części miasta, gdzie przeważały piętrowe kamienice. Pomimo uważania Rudzy za odrębną od pozostałego obszaru Żywca przez jego mieszkańców, ludność tej dzielnicy miała prawo noszenia tradycyjnego stroju miejskiego.
W 1901 uchwałą Rady Miejskiej wprowadzono nowe nazewnictwo niektórych ulic na terenie miasta. Ulica Paniowska otrzymała wówczas nazwę Stefana Batorego, ul. Rudza stała się ul. 3-go Maja, natomiast ul. Stodolna – Bracką (z racji prowadzenia do „roli brackiej”). Nadano również nazwy ulicom dotychczas bezimiennym, na skutek czego uliczka łącząca ul. 3-go Maja z Świętokrzyską otrzymała miano Małej, wytyczono również nowe ulice Jana III Sobieskiego i Zieloną.