Był doradcą trybunału (ros. надворный советник) i został odznaczony cesarskim Orderem św. Anny. Matka, również osoba wykształcona, była miłośniczką muzyki, literatury polskiej i światowej, znającą biegle kilka języków.
Ojciec z racji słabego zdrowia szybko przeszedł na emeryturę, a stuhektarowy majątek rodzinny wydzierżawiał; rodzinę utrzymywał z dzierżawy i stosunkowo małej emerytury nauczycielskiej. Sytuację materialną rodziny pogorszyła jego śmierć (1882). Utrzymanie rodziny i opieka nad 8 dziećmi spadła na barki matki; ojciec przed śmiercią każdemu z 4 synów zapewnił po 1000 rubli na naukę. Aby umożliwić dzieciom kształcenie, w 1887 matka wraz z nimi przeniosła się do Wilna, gdzie Feliks rozpoczął naukę w gimnazjum, którą kontynuował do 1896. Powtarzał I klasę, głównie ze względu na język rosyjski, którego nauka przychodziła mu z trudem; z powodzeniem dawał sobie natomiast radę z przedmiotami ścisłymi, szczególnie z matematyką i fizyką; jak większość polskich uczniów tamtego okresu Dzierżyński, obok wykładanej po rosyjsku literatury i historii Rosji, w systemie samokształceniowym uczył się historii i literatury polskiej. Okres gimnazjalny wspominał niechętnie, podobnie jak i jego bracia;