1871–1920) i Gerarda Kerra Oliviera (1869–1939). Miał dwoje starszego rodzeństwa: siostrę Sybille (1901–1989) i brata Gerarda Dacresa „Dickiego” (1904–1958). Ich prapradziadek wywodził się z francuskich hugenotów. Ojciec Laurence’a rozpoczął karierę jako nauczyciel, ale po ukończeniu 30 lat odkrył silne powołanie zakonne i został wyświęcony na kapłana Kościoła anglikańskiego.

W 1916 został przyjęty do chóru Church of All Saints Choir School w centrum Londynu. W 1917 zachwycił publiczność jako Brutus w szkolnej inscenizacji Juliusz Cezar. Później zdobywał pochwały za role w innych produkcjach uczniowskich – Marii w Wieczorze Trzech Króli (1918) i Katarzyny w Poskromieniu złośnicy (1922). W latach 1920–1924 uczęszczał do St. Edward’s School w Oksfordzie. W 1924 podjął studia aktorskie w Central School of Speech Training and Dramatic Art.

Życie prywatne Był trzykrotnie żonaty. 25 lipca 1930 poślubił aktorkę Jill Esmond. Mieli syna Tarquina. 29 stycznia 1940 się rozwiedli. W listopadzie 1936 związał się z Vivien Leigh, z którą ożenił się 31 sierpnia 1940 podczas prywatnej uroczystości w Santa Barbara. Tylko on wiedział o chorobie maniakalno-depresyjnej swojej żony.