Rodzice Lee rozwiedli się, gdy miał sześć lat, po dwóch latach separacji. Od tego czasu mieszkał wraz z matką i siostrą w szwajcarskim Wengen, gdzie uczęszczał do szkoły. Tam też Christopher zagrał swoją pierwszą rolę, w adaptacji baśni braci Grimm pt. Rumpelsztyk. Następnie rodzina powróciła do Londynu, gdzie jego matka wyszła za mąż za Harcourta St-Croix Rose’a, bankiera i wujka Iana Fleminga. Lee stał się w ten sposób przyrodnim kuzynem Fleminga. Od tej pory mieszkali w Fulham. Zgodnie z autobiografią aktora tam też, jako nastolatek, został przedstawiony księciu Feliksowi Jusupowowi oraz wielkiemu księciu Dymitrowi Romanowowi, którzy kilka lat wcześniej zamordowali Grigorija Rasputina (którego postać Lee zagrał w 1966 roku).
Kontynuując edukację występował w szkolnych przedstawieniach. Uczęszczał do Summer Fields School, gdzie spotkał Patricka Macnee. Lee złożył podanie o stypendium w Eton College, gdzie rozmowę kwalifikacyjną prowadził między innymi M.R. James, którego postać Lee zagrał 60 lat później. Stypendium otrzymało dziesięciu najlepszych uczniów, jednak słabe oceny z matematyki spowodowały, że Lee zajął jedenaste miejsce na liście.