Do II wojny światowej nie udało mu się jednak ich sprzedać.
Orientalne fascynacje Rostworowski był również znany ze swojego zainteresowania hinduizmem i kulturą Dalekiego Wschodu. Efektem tych fascynacji była poezja, którą opublikowano już po jego śmierci, w r. 2005. Należał do Polskiego Towarzystwa Teozoficznego, którego członkowie bywali gośćmi w Józefowie. Tutaj odwiedził go również pochodzący z Delhi maharadża Bej Behari Mathur. W parku przy pałacu józefowskim Rostworowski postawił (niezachowane) podobizny Buddy i Ramakryszny oraz (zachowany) posąg Chrystusa. Rostworowski mógł być jednym z pierwowzorów postaci jogina hrabiego Dzieduszyckiego z powieści Błękitna krew z r. 1954 pióra Magdaleny Samozwaniec.
Po wojnie Po wojnie i nacjonalizacji dóbr józefowskich, Rostworowski mieszkał w różnych częściach Polski, wciąż zajmując się twórczością literacką – wstąpił wówczas do Związku Zawodowego Literatów Polskich. Pod koniec życia pozostawał początkowo pod opieką córki i zięcia, po czym w wyniku konfliktu rodzinnego zajął się nim nieślubny syn Zdzisław. Został pochowany w Rejowcu, skąd jego szczątki przewieziono później do Surhowa, gdzie mieszkał ten ostatni.