Brał udział w rewolucji 1905 roku na Uralu i w wydawaniu „Prawdy”. Był kilkakrotnie aresztowany, kilka razy uciekał z więzień. Wydany przez prowokatora Romana Malinowskiego, został zesłany w 1911 na Syberię, do Turuchańska. Karę odbywał wspólnie ze Stalinem. W 1912 r. został wybrany, początkowo zaocznie, do Komitetu Centralnego partii bolszewickiej. W roku następnym partia rozpatrywała możliwość zorganizowania ucieczki Swierdłowa i Stalina, ostatecznie jednak Swierdłow przebywał na zesłaniu do 1917 r. Został zwolniony po rewolucji lutowej i obaleniu caratu, na mocy amnestii ogłoszonej przez Rząd Tymczasowy.
1917 r. Początkowo Jakow Swierdłow stanął na czele organizacji partyjnej na Uralu, 29 marca Jakow Swierdłow przybył do Piotrogrodu na wszechrosyjski zjazd rad delegatów robotniczych i żołnierskich, gdzie odczytał rezolucję rady krasnojarskiej, potępiającej imperialistyczny charakter trwającej wojny. Po zakończeniu prac zjazdu z polecenia partii udał się do Jekaterynburga. W dniach 14–15 kwietnia 1917 r. został wybrany na członka Uralskiego Komitetu Obwodowego partii i do końca miesiąca był jednym z przywódców bolszewików na Uralu. W końcu kwietnia 1917 r. brał udział we wszechrosyjskiej konferencji partyjnej w Piotrogrodzie, reprezentując Ural.