Dużo czasu spędził na gimnastyce i nauce języków obcych.
Po pobycie w kaukaskich więzieniach został zesłany na Syberię. Trafił do wsi Niżniaja Uda w guberni irkuckiej. Na zesłaniu podupadł zdrowotnie. Szczególnym problemem okazała się choroba zębów. W trakcie zesłania wysłał do niego list jego ideologiczny idol Włodzimierz Lenin. Jak się okazało, było to zwykłe pismo obiegowe, które z podpisem Lenina rozsyłano do wszystkich działaczy na prowincji. Mimo to Stalin mocno zapamiętał ten dzień i w późniejszym okresie włączał go do wszystkich biografii.
Rewolucja (1904–1907) i ponowne zesłanie W 1904 roku wrócił do Tyflisu, gdzie rozpoczął wydawanie pisemka „Kaukaska gazeta robotnicza”, dla której sam pisał. W piśmie popularyzował ideologię leninizmu. Działalność Stalina zwróciła na niego uwagę Lenina, który zaprosił go na pierwszą konferencję bolszewicką w Tampere. Na spotkanie dostał się pod fałszywym paszportem. Konferencja umożliwiła mu osobiste poznanie Lenina, jak sam później twierdził, spotkanie rozczarowało go, gdyż zobaczył w Leninie zwykłego człowieka.