Od początku XIX w. rozpoczął się wzrost liczby ludności miejscowości. Związane to było ściśle z budową i funkcjonowaniem traktu krakowskiego, zaprojektowanego przez inż. Teodora Urbańskiego i przebiegającego m.in. przez Białobrzegi.
W pierwszej połowie 1936 roku w mieście doszło do ekscesów o podłożu antysemickim.
mały|Mogiła polskich żołnierzy poległych w 1939 Okres II wojny światowej już we wrześniu 1939 r. przyniósł Białobrzegom wywózki do obozów i rozstrzeliwania ludności cywilnej i wojskowej. W utworzonym w 1941 getcie Niemcy osadzili 4 tys. Żydów z Białobrzegów, Grójca, Nowego Miasta, Mogielnicy i Przytyka. Getto zostało zlikwidowane w październiku 1942, a jego mieszkańcy wywiezieni do obozu zagłady w Treblince.
16 stycznia 1945 roku do miasta wkroczyły wojska Armii Czerwonej, kończąc okres okupacji niemieckiej. Od 1956 do 1975 r. funkcjonował powiat białobrzeski. W 1958 roku stolica powiatu – Białobrzegi odzyskały prawa miejskie, wcześniej były wsią stanowiącą stolicę powiatu. 1 stycznia 1999 r. Białobrzegi stały się miastem powiatowym.