Pomimo trudności zdrowotnych nieustannie pisał wiersze.
Niedługo przed śmiercią zdiagnozowano u niego białaczkę. Zmarł 29 grudnia 1926 w sanatorium Val-Mont w wieku 51 lat. Powodem śmierci było prawdopodobnie zakażenie, jakiego doznał raniąc się kolcem róży. Ciało złożono 2 stycznia 1927 w Raron (kanton Valais). Na steli nagrobnej wyryto ułożone przez poetę epitafium:
Rose, oh reiner Widerspruch, Lust, Niemandes Schlaf zu sein unter soviel Lidern.Różo, sprzeczności czysta, pragnienie, by stać się snem niczyim pod tylu powiekami. (przeł. A. Lam) Różo, och czysta sprzeczności, rozkoszy, być snem niczyim pod tak wielu powiekami. (przeł. M. Jastrun)
W 1938 Adolf Hitler kupił popiersie Rilkego, chociaż jest pewne, że nigdy nie był jego czytelnikiem ani wielbicielem. Za sprawą dyktatora faworyzowano go w III Rzeszy, akcentując jego niemieckość, rzekomą sudeckość i odrzucenie chrystianizmu, nie zważając przy tym na rzeczywisty dorobek artystyczny Rilkego.