Starał się wymyślić nowy zapis, który pasowałby do żywego słowa. W 1922 roku opublikował w czasopiśmie bibliograficznym „Bikher-velt” (Świat Książki) artykuł na temat konieczności reformy i modernizacji czcionki hebrajskiej. Włożył wiele wysiłku w wykonanie nowych wzorów kroju pisma.

W latach trzydziestych publikował wiersze i opowiadania w języku hebrajskim i jidysz w czasopismach dla dzieci, m.in. „Olami hakatan” (Mój mały świat). Jego utwory literackie ukazywały się także w książkach, które sam ilustrował i drukował z zastosowaniem własnych innowacji typograficznych. Goldberg był aktywnym członkiem założycielem Stowarzyszenia Żydowskich Artystów Plastyków w Polsce.

Goldbergowi zależało na wydawaniu książek w języku jidysz w stylu europejskim, w małym nakładzie, z oryginalnymi grafikami uznanych artystów żydowskich. W 1931 roku sam opublikował monografię artysty Maurycego Apfelbauma, której towarzyszyły wysokiej jakości reprodukcjeChaim Goldberg: Maurycy Applebaum. Jego życie i twórczość. Warszawa 1931.. W 1935 roku paryskie wydawnictwo Le Triangle, specjalizujące się w sztuce żydowskiej, wydało album zawierający 50 jego obrazów o tematyce żydowskiej, ze wstępem francuskiego krytyka sztuki Paula Fierensa.