Najpierw fotografował w swojej pracowni inscenizowane sceny przedstawiane przez aktorów-amatorów, wraz z odpowiednim strojem i oprawą, a następnie, wykorzystując techniki malarskie i graficzne, dodawał do obrazów elementy ilustracyjne oraz skomponowane przez siebie krótkie, rymowane w jidysz pozdrowienia. W ten sposób stworzył serię popularnych pocztówek z życzeniami Leszana Towa (Szczęśliwego Nowego Roku), ukazujących różne zwyczaje tradycji żydowskiej wokół świąt Rosz Haszana, Jom Kipur, Sukot i Simchat Tora. Swoje prace sygnował najczęściej podpisem H. Goldberg lub tylko monogramem HG. Shalom Sabar, badacz sztuki i folkloru żydowskiego, określa Goldberga jako „być może najważniejszego projektanta kartek okolicznościowych działającego w Polsce na początku XX wieku. Choć nie był artystą pierwszej klasy, jego różnorodne talenty jako fotografa, malarza-amatora, grafika, a nawet poety znalazły odpowiednią platformę w postaci projektów kartek okolicznościowych.