Twórczość rozproszona i dochowana Jak podawał Iwaszkiewicz, malarskim ideałem Rajnfelda był Constantin Guys; spośród malarzy sobie współczesnych najbardziej cenił Henri Matisse’a, którego odwiedził w jego willi na Lazurowym WybrzeżuZ notatek Jarosława Iwaszkiewicza we wstępie do książkowego wydania listów Józefa Rajnfelda..
Twórczość plastyczna artysty uległa zniszczeniu lub rozproszeniu; prace ze zbiorów prywatnych we Francji nie są szerzej znane. Paweł Hertz wspomina, że duży zespół prac Rajnfelda ze swego paryskiego zbioru krytyk muzyczny Doda Conrad (który poznał Rajnfelda w Paryżu w 1928) przekazał w 1982 r. do warszawskiego Muzeum Narodowego, gdzie jednak nie były eksponowane (spoczywają w magazynie)Portret młodego artysty. Listy Józefa Rajnfelda do Jarosława Iwaszkiewicza. 1928–1938. Z notatami adresata wydali Paweł Hertz i Marek Zagańczyk. Warszawa, Wydawnictwo Tenten, 1997, , s. 19–21.. Pozostaje więc w kulturze polskiej jako autor listów. W latach młodości Rajnfeld był najpierw kochankiem poety Jana Lechonia (poznanego w 1928 w Paryżu)Portret młodego artysty. Listy..., s. 76–77., a później związał się z Iwaszkiewiczem – namiętny związek miłosny stał się z czasem tylko przyjaźnią.