Na przełomie sierpnia i września 1926 roku objął funkcję urzędnika do zleceń w Radzie Ministrów i zaczął uczestniczyć w posiedzeniach rządu. W latach 1927–1928 pełnił natomiast funkcję szefa Gabinetu Prezesa Rady Ministrów Józefa Piłsudskiego.
Sprawa Petlury Henryk Józewski zaangażował się osobiście w sprawę niedopuszczenia do wydalenia Symona Petlury z Polski, czego żądała strona sowiecka po zakończeniu wojny polsko-bolszewickiej. Podjął na własną rękę decyzję o ukryciu Petlury, którego bardzo cenił, do czasu ucichnięcia wrzawy wokół jego osoby. Pierwszym etapem było przewiezienie atamana z Tarnowa do Warszawy i ukrycie go we własnym mieszkaniu w Pałacu Raczyńskich. Po kilku tygodniach Stanisław Stempowski wywiózł Petlurę do majątku Kośmin pod Grójcem. Później przywieziono go z powrotem do Warszawy i ukryto z żoną i córką w mieszkaniu kijowskiego adwokata Włodzimierza Redlicha.
31 grudnia 1923 roku Petlura, po przejęciu władzy w Polsce przez rząd nacjonalistycznej i programowo antyukraińskiej endecji (tzw.