W okresie II wojny światowej pozostawał wraz z rodziną w Berlinie i imał się różnych prac, aż w 1943 roku jego mieszkanie zostało zniszczone wskutek bombardowania miasta i przeprowadził się w strony rodzinne do Łużyc Dolnych. Zaangażowany w pomoc opozycji antyhitlerowskiej, ostatnie miesiące wojny musiał ukrywać się.
Po zakończeniu wojny, Ostrowski wrócił do Berlina, gdzie w ramach SPD zaangażował się w sprawy polityki komunalnej. W maju 1946 roku został burmistrzem Wilmersdorfu, który leżał na terenie sektora brytyjskiego. Opowiadał się przeciwko połączeniu Komunistycznej Partii Niemiec (niem. Kommunistische Partei Deutschlands, KPD) z SPD, a za współpracą na płaszczyźnie merytorycznej ze wszystkimi partiami.
5 października 1946 roku został wybrany nadburmistrzem Berlina, zostając pierwszym wybranym w wolnych demokratycznych wyborach (pierwszych od 1933 roku) burmistrzem Wielkiego Berlina. Urząd objął w okresie początkowej zimnej wojny, kiedy klimat polityczny był napięty a współpraca z aliantami trudna. Po przejęciu władzy, SPD domagało się natychmiastowego zwolnienia wszystkich członków Socjalistycznej Partia Jedności Niemiec (niem. Sozialistische Einheitspartei Deutschlands, SED) z zajmowanych stanowisk kierowniczych.