1868–1958) i Franka Henry’ego Gielguda (1860–1949), agenta giełdowego. Jego matka pochodziła z legendarnego klanu aktorskiego. Ze strony ojca Gielgud wywodził się z polsko-litewskiej rodziny magnackiej Giełgudów (herbu Giełgud), w której odnaleźć można gwiazdy scen polskich z końca XVIII wieku. W rodzinie tej byli również oficerowie i uczestnicy polskich powstań, w tym powstania listopadowego. Był prawnukiem Anieli z Kamińskich Aszpergerowej (1816–1902), polskiej aktorki związanej przez kilkadziesiąt lat ze sceną lwowską. Do jego przodków należał m.in. Antoni Giełgud, generał w powstaniu listopadowym, którego rodzina wskutek represji po powstaniu listopadowym emigrowała do Wielkiej Brytanii.
Uczęszczał do Westminster School. Początkowo myślał o karierze architekta, jednak niemożność opanowania rysunku technicznego i rosnące zainteresowanie teatrem skłoniło go do podjęcia kariery scenicznej. W 1921 w wieku siedemnastu lat pojawił się na scenie The Old Vic w roli posłańca Heralda w Henryku V Williama Szekspira, a 1924 w objazdowym zespole wystąpił w roli Romea w sztuce Romeo i Julia. Ukończył Royal Academy of Dramatic Art.