ostatnia z opiekunek stała się ulubioną nianią Karola. Często wysyłany był także do Sandringham do dziadków, króla Jerzego VI i Elżbiety, królowej matki. Wiosną 1952, po objęciu tronu przez jego matkę, przeprowadził się z rodzicami do Pałacu Buckingham. Od tamtej pory jeszcze rzadziej widywał się z rodzicami, a z racji ich częstych wyjazdów zagranicznych zdarzało się, że nie widział ich przez kilka miesięcy. Był surowo wychowywany przez ojca, który często strofował i wyśmiewał syna, a także stosował wobec niego kary cielesne, co wpłynęło na wybuchowy, nerwowy i nadwrażliwy charakter Karola. Był nieśmiałym, wrażliwym, biernym i uległym ojcu dzieckiem, a w okresie dorastania mierzył się z niską samooceną i czuł się nieprzystosowany do społeczeństwa. Urodził się z krzywymi nogami i płaskostopiem, dlatego nosił specjalne obuwie ortopedyczne. Był chorowitym dzieckiem, często się przeziębiał, miewał ostre anginy, zapalenia oskrzeli i napady astmy. W maju 1957 przeszedł operację usunięcia migdałków. Jako dziecko obgryzał paznokcie, bał się ciemności i cierpiał na chorobę morską. W młodym wieku nauczył się myślistwa i brał udział w polowaniach. thumb|left|Karol (1972) W kwietniu 1954 odbył swoją pierwszą zagraniczną podróż, dołączając do rodziców podczas wizyty w Valletcie.