Kathleen i Henry May mieli dwóch synów, Roberta i Toma. Rozeszli się, gdy Robert (starszy z synów) miał 7 lat. Chłopcy zamieszkali z matką u dziadków na cichym przedmieściu Sydney (Woollahra). Przyczyną rozpadu rodziny był alkoholizm ojca. Sprawiło to, że Robert – bardzo podobny do ojca – został abstynentem (obawiał się, że odziedziczył również skłonność do nałogu). Jako dziecko osłabione przez astmę dużo czasu spędzał w domu. Lubił łamigłówki, np. puzzle matematyczne i inne gry wymagające rozwiązywania problemów. W latach 1948–1952 uczęszczał do Woollahra Primary School i Sydney Boys High School. Został mistrzem w szkolnym zespole dyskusyjnym Sydney Boys (w tym okresie został ateistą – mówił o przeżyciu „odwrotnego objawienia”). Wspominał kilku doskonałych nauczycieli. Wdzięczny był przede wszystkim nauczycielowi chemii, Lenny’emu Basserowi, któremu przypisywał rozwój własnego samodzielnego myślenia.