W jednym ze swych wierszy żegnał się z Krakowem przed wywózką do getta:
Krakowie, bądź mi pozdrowiony – przed domem czeka zaprzężony wóz, jak psa mnie gnają stąd, ostatni raz widzę może miejsce tak bliskie i znajome, na grobie matki wypłakałem serce, ostatnią łzą zwilżyłem kamień ojca, święta ta ziemia… (parafraza Anny Kamieńskiej)
4 czerwca 1942 został, wraz z żoną i dwiema córkami, rozstrzelany przez Niemców na rogu ulic Dąbrówki i Janowa Wola podczas akcji wysiedleńczej z getta. W grupie zamordowanych był także malarz Abraham Neumann. Na domu przy ul. Berka Joselewicza 5, gdzie niegdyś mieszkał, umieszczono w 1992 r. tablicę pamiątkową z napisem: „Bądź zdrów, mój Krakowie. Mordechaj Gebirtig (1877-1942) – stolarz, poeta, pieśniarz”. Tablicę pamiątkową umieszczono także na budynku, gdzie został zamordowany.
Postać Gebirtiga spopularyzowali w Polsce: Gołda Tencer, która w 1991 r. wystawiła na deskach Państwowego Teatru Żydowskiego w Warszawie przedstawienie Der trubadur fun Galicje („Trubadur z Galicji”); Przemysław Gintrowski, komponując i wykonując (z Joanną Trzepiecińską) monumentalny utwór „Stół Mardechaja Gebirtiga” do słów Anny Kamieńskiej;