Swierdłow odmówił przeprowadzenia wyborów tymczasowego przewodniczącego Rady Komisarzy Ludowych i podczas choroby Lenina sam go zastępował, prowadząc posiedzenia Komitetu Centralnego partii bolszewickiej oraz Rady Komisarzy Ludowych. Brał udział w przygotowaniach do I kongresu Kominternu, w organizacji zjazdów rad robotniczych Łotwy, Litwy i Białorusi oraz w organizacji III zjazdu rad Ukrainy. Wracając z Charkowa, gdzie odbywał się zjazd, Swierdłow wystąpił na mityngu w Orle; krótko potem, po powrocie do Moskwy, zmarł. Według oficjalnej wersji Swierdłow padł ofiarą pandemii grypy hiszpanki.
Został pochowany przy murze kremlowskim.
thumb|250x250px|Pomnik Jakowa Swierdłowa w Jekaterynburgu
Upamiętnienie W okresie od 14 listopada 1924 do 6 września 1991 na jego cześć Jekaterynburg nosił nazwę Swierdłowsk. Po zmianie nazwy miasta na historyczną zachowano jednak nazwę obwodu – swierdłowski. Główna stacja kolejowa w mieście do 30 marca 2010 nosiła imię Swierdłowa. W 1927 w mieście pojawił się pomnik bolszewickiego polityka. Od 1919 do 1996 jedna z głównych ulic w Charkowie nosiła imię Jakowa Swierdłowa. Od 1938 do 2016 jego imieniem nazwano miasto na Ukrainie. Od 12 maja 2016 roku nosi nazwę Dołżańsk. Ku jego pamięci został nazwany plac w pobliżu Teatru Bolszoj w Moskwie. Postawiono tu także jego pomnik.