Kariera Pierwszą jego dużą rolą na szklanym ekranie była postać Eugina Gimela w komedii Komik na sobotę (Mr. Saturday Night, 1992), a kreacją, która na dobre rozpoczęła jego karierę w Hollywood był Mellish – żołnierz piechoty w kasowym filmie Stevena Spielberga Szeregowiec Ryan (Saving Private Ryan, 1998). Goldberg sprawdzał się doskonale w pierwszoplanowych rolach, jak w roli Shultza w serii Head Cases (2005) wytwórni FOX czy The Hebrew Hammer. Jednak najczęściej obsadzany był w drugoplanowych, lecz wyrazistych rolach.
Inne znaczące role w jego karierze to Jerry – ponury służący Christophera Walkena w thrillerze Armia Boga (The Prophecy, 1995), a także Eddie Menuek – niezrównoważony współlokator z sitcomu NBC Przyjaciele (Friends, 1996). Wystąpił też w czterech epizodach serii Ekipa jako Nick Rubinstain, syn zamożnego producenta filmowego. Użyczył swojego głosu w filmie Babe: Świnka w mieście (Babe: Pig in the City, 1998) i kreskówce produkcji wytwórni FOX Eek!