Ostatecznie małżeństwo Karola zaaranżował po zamachu stanu z 1772 roku jego brat Gustaw III, który ożenił go z kuzynką, Jadwigą Elżbietą Holstein-Gottorp. Małżonkowie żyli praktycznie oddzielnie i oboje mieli romanse pozamałżeńskie. Kochankami Karola były m.in. Augusta von Fersen, Charlotte Eckerman, Charlotte Slottsberg, które miały bardzo duży wpływ na niego i Mariana Koskull. Pod koniec 1790 roku stan zdrowia Karola pogorszył się na skutek reumatyzmu.
Karol uchodził za człowieka bardzo uległego oraz libertyna. Interesował się mistycyzmem, siłami nadprzyrodzonymi oraz tajnymi stowarzyszeniami. Na dworze mówiono, że często składał wizyty u słynnego szwedzkiego wróżbity – Henrika Gustafa Ulfvenklou. Był również członkiem masonerii. W 1811 ufundował Order Karola XIII przeznaczony dla wolnomularzy oraz nielicznych kawalerów honorowychLobkowicz, F., Encyklopedie řádů a vyznamenání, wyd. Libri, Prague 1995, s. 171..