najprawdopodobniej z tego powodu do końca życia pozostała głucha. Anna Leopoldowna błagała Elżbietę o dobre traktowanie jej dzieci.
Katarzyna wraz z rodziną na polecenie nowej cesarzowej została wywieziona do więzienia w Rydze, potem umieszczono ich w twierdzy w Dyjamencie a następnie przeniesiono do Chołmogor. Zamieszkali w dawnym domu tamtejszego arcybiskupa, jednak w rzeczywistości był to areszt domowy. W więzieniach przyszli na świat bracia Katarzyny: Piotr i Aleksy oraz siostra Elżbieta.
7 marca 1746 r. matka Katarzyny zmarła w wyniku komplikacji po urodzeniu syna Aleksego.
Iwana VI nigdy formalnie nie zdetronizowano. W 1756 r. na polecenie cesarzowej przeniesiono go do Twierdzy Szlisselburskiej. On i jego rodzeństwo (zwłaszcza biorąc pod uwagę brak potomków Elżbiety i problemy w małżeństwie jej następcy Piotra Fiodorowicza) stanowili zagrożenie dla Romanowów. Iwan VI został zamordowany w 1764 r.
W 1764 r. ojciec Katarzyny szansę na odzyskanie wolności, jednak zdecydował się pozostać z dziećmi. Zmarł w 1776 r.