Jako biskup-nominat zaprzestał używać tytułu książęcego, tradycyjnie przybieranego przez biskupów płockich. Według tradycji arcybiskup gnieźnieński i prymas tytułował się księciem łowickim, biskup krakowski - księciem siewierskim, biskup warmiński – księciem warmińskim, a biskup płocki - księciem pułtuskim. Ostaszewski zarzucił ten zwyczaj. Ostatnim biskupem płockim, który używał tytułu księcia pułtuskiego, był jego poprzednik na stolcu biskupim płockim, Onufry Kajetan Szembek.
Zwrócił się z apelem do duchowieństwa, by zajęło się oświatą ludu i popierało zamierzenia edukacyjne władzTadeusz Walachowicz, Kościół katolicki: w prawodawstwie Księstwa Warszawskiego, Lublin 1984, s. 142. Jego list pasterski do duchowieństwa na temat roli i znaczenia oświaty spotkał się z uznaniem władz Księstwa WarszawskiegoJózef Kazimierski, Ryszard Kołodziejczyk, Janusz Szczepański, Dzieje miasta Pułtuska, Pułtuskie Tow. Społeczno-Kulturalne, 1992, s. 62.