W wyborach parlamentarnych w październiku 1969 startował z listy Narodowej Partii Religijnej i nie dostał się do izraelskiego parlamentu. Zaledwie jednak miesiąc po rozpoczęciu się siódmej kadencji Knesetu, 15 grudnia tego roku, objął mandat poselski, zastępując Josefa Burga. Burg, wieloletni lider Narodowej Partii Religijnej, w wyniku pewnych przetasowań politycznych zrezygnował z funkcji posła, którą sprawował nieprzerwanie od 1949 roku – objął jednak (ponownie) funkcję ministra opieki społecznej w nowo utworzonym rządzie Goldy Meir. 22 grudnia Goldschmidt również został powołany do tego rządu, na stanowisko wiceministra spraw wewnętrznych, w resorcie, którego ministrem był Chajjim Mosze Szapira, drugi z przywódców Narodowej Partii Religijnej. W siódmym Knesecie zasiadał do końca kadencji 21 stycznia 1974. Szeroko udzielał się w życiu parlamentarnym – był przewodniczącym komisji konstytucji, prawa i sprawiedliwości oraz podkomisji prawa, był także członkiem czterech innych komisji: finansów, edukacji i kultury, spraw wewnętrznych oraz powołań sędziowskich.