W związku ze swoim rosnącym sukcesem Stewart wydał album Orange w 1972 roku. Został napisany po burzliwym zerwaniu ze swoją dziewczyną i muzą Mandi i był przejściowym albumem łączącym piosenki z większą ilością historycznych motywów, których coraz częściej używał. Na albumie pojawiły się piosenki w stylu rocka psychodelicznego i progresywnego.
Piąte wydawnictwo, Past, Present and Future (1973), było pierwszym albumem Stewarta, który otrzymał prawidłowe wydanie w Stanach Zjednoczonych za pośrednictwem Janus Records. Odzwierciedla tradycyjny sposób opowiadania historii i zawiera dziewięciominutowy utwór „Nostradamus”. Ta piosenka, choć zbyt długa na nadawanie w głównym nurcie radia, stała się hitem w wielu amerykańskich stacjach radiowych w college'ach i uniwersytetach, które były elastyczne w kwestii czasu nadawania.
Album osiągnął 133.pozycję na liście albumów Billboard w USA. Inne utwory z albumu opowiadają o różnych postaciach historycznych, m.in. Warren G. Harding, Ernst Röhm, Christine Keeler, Louis Mountbatten, Józef Stalin.