Jeszcze w tym samym miesiącu Apollo został aresztowany pod kilkoma zarzutami, wśród których było stworzenie organizacji konspiracyjnej. W 1861 rodzice Korzeniowskiego zostali zesłani w głąb Rosji, do Permu. Jego wuj, Stefan Bobrowski, był jednym z przywódców powstania styczniowego. Już po drodze, w Moskwie, Korzeniowscy dowiedzieli się, że dzięki interwencji znajomego udało się zamienić Perm na nieco bliższą Wołogdę. W 1863 wyrok Apollona został złagodzony i rodzina przeniosła się do Czernihowa na obecnej Ukrainie, gdzie warunki życiowe były łatwiejsze niż w Wołogdzie. 11 kwietnia 1865 w Czernihowie matka pisarza zmarła na gruźlicę, zaś on sam trafił pod opiekę jej brata – Tadeusza Bobrowskiego. Po powrocie ojca z wygnania w 1867 przenieśli się do znajdującego się w zaborze austriackim Lwowa, gdzie panował przyjaźniejszy klimat polityczny. Dwa lata później przyszły pisarz, wraz z umierającym ojcem, zamieszkał w Krakowie, gdzie uczył się w gimnazjum św. Anny, lecz szkoły tej nie ukończył. Conrad nie był dobrym uczniem, wyróżniał się jedynie w geografiiNajder, Zdzisław (2007). Joseph Conrad: A Life. Camden House. ISBN 978-1-57113-347-2. s. 43.