[…] Zebrani na placu entuzjastycznymi okrzykami powitali ten śmiały wyczyn pana starosty i od tego czasu zmieniono przydomek Ostoja na Gzyms i pana Henryka nazywano Gzyms-Ostaszewski.”
We wrześniu 1937 premier Sławoj Składkowski powierzył mu pełnienie obowiązków wojewody białostockiego. W grudniu Rada Ministrów przyjęła wniosek o mianowanie go wojewodą, a 7 stycznia 1938 nominację podpisał prezydent Ignacy Mościcki.
Równolegle z Ostaszewskim nominacje na wojewodów otrzymali: Jerzy Tramecourt na wojewodę lubelskiego, Tomasz Malicki na wojewodę tarnopolskiego i Józef Tymiński na wojewodę krakowskiego.„Nowy Kurier” 8 stycznia 1938, s. 2: Mianowanie wojewodów lubelskiego, tarnopolskiego, białostockiego i krakowskiego
Gdy po serii nominacji nowych wojewodów pewna dama zarzuciła w senacie premierowi i ministrowi spraw wewnętrznych Składkowskiemu, że „niektórzy wojewodowie spadają z nieba”, premier odparł jej: „Jest to powiedziane bardzo obrazowo. Mianowałem pięciu wojewodów i chciałbym, aby pani była łaskawa wskazać, który z nich 'spadł z nieba'. [...] wojewoda białostocki Ostaszewski był długoletnim starostą kaliskim i ze starosty właśnie awansował na wojewodę.”Gazeta administracji i policji państwowej, Ministerstwo spraw wewnętrznych, t.20, 1938 r., s.