W latach 1950–1953 pełnił funkcję przewodniczącego Izby Deputowanych, następnie przez dziesięć lat stał na jej czele.

Od czerwca do grudnia 1963 i ponownie od czerwca do grudnia 1968 piastował funkcję premiera Włoch w gabinetach tworzonych przez Chrześcijańską Demokrację.

27 sierpnia 1967 prezydent Giuseppe Saragat w uznaniu dotychczasowych zasług powierzył mu godność dożywotniego senatora. Giovanni Leone zasiadał w Senacie IV i V kadencji. Ustąpił w trakcie tej ostatniej w związku z dokonanym 23 grudnia 1971 wyborem go na urząd prezydenta Republiki Włoskiej.

W 1978 pod jego adresem pojawiły się oskarżenia o udział w skandalu korupcyjnym, zwanym jako afera Lockheeda. 15 czerwca tego samego roku, na kilka miesięcy przed upływem kadencji, Giovanni Leone podał się do dymisji. Z urzędu jako były prezydent powrócił do Senatu, zasiadał w nim w trakcie VII, VIII, IX, X, XI, XII, XIII i XIV kadencji, tj.