W sklepie z bronią przy Rue du Faubourg St Martin kupił rewolwer kalibru 6,35 i pudełko z dwudziestoma pięcioma nabojami za dwieście trzydzieści pięć franków. Następnie pojechał metrem do stacji Solférino i wszedł do ambasady niemieckiej w Hôtel Beauharnais, przy Rue de Lille 78, z zamiarem zamachu na ambasadora Rzeszy we Francji, hr. Joannesa von Welczka (właściciela m.in. Łabęd i Czechowic). Tam wskazano mu trzeciego sekretarza ambasady Ernsta vom Ratha (a którego pomylił z ambasadorem). Grynszpan oddał pięć strzałów, dwoma raniąc vom Ratha ciężko w brzuch wołając: Ohydny szkopie [fr. Un sale boche] to masz za dwanaście tysięcy Żydów – po czym oddał się w ręce policji.
Konsekwencje zamachu Ernst vom Rath, choć leczony m.in. przez osobistego lekarza Hitlera, Karla Brandta, zmarł 9 listopada w wyniku ran postrzałowych. 17 listopada odbył się w Düsseldorfie pogrzeb vom Ratha. Uczestniczył w nim osobiście Hitler oraz szef MSZ III Rzeszy Joachim von Ribbentrop, który w mowie pogrzebowej określił zamach jako atak Żydów na naród niemiecki i powiedział: „Rozumiemy wyzwanie i przyjmujemy je”.