Twórczość Talenty plastyczne ujawnił wcześnie. Początkowo zajmował się głównie malarstwem (akwarela) i rysunkiem. Później, pod wpływem profesora Dawskiego, tworzył głównie w technice linorytu. Tematem było sanatorium „Bukowiec” w którym się leczył i pracował oraz temat choroby. Większość prac ułożona jest w cykle: „Sanatorium” (1958-1967), „Improwizacje” (1950-1959), „Improwizacje dla Grażynki” (1965-1971). Podczas pobytu w Bukowcu łącznie stworzył 53 linoryty, 9 monotypii, 4 mezzotinty, 2 akwaforty oraz 37 rysunków i szkiców. Dla przyjaciół i znajomych spośród personelu medycznego sanatorium wykonał również 17 ekslibrisów.

Józef Gielniak stanowił artystyczne przeciwieństwo Jerzego Panka.

Muzeum Karkonoskie w Jeleniej Górze posiada zbiór wszystkich linorytów Józefa Gielniaka, płyty linorytnicze jego prac oraz wiele pamiątek po artyścieSzczodrak A., 2014: Dział sztuki. W: 100 lat Muzeum Karkonoskiego w Jeleniej Górze. Wyd. Muzeum Karkonoskie w Jeleniej Górze, strona 97.. Od 1977 Muzeum organizuje Konkurs Graficzny im. Józefa Gielniaka (konkurs technik druku wypukłego). Jego XIV edycja odbyła się w 2017 roku.

W latach 2017–2018 w Muzeum Historii Katowic zorganizowano wystawę jego prac (w Dziale Grafiki)Józef Gielniak.