Od 1952 do 1955 w jego gabinecie sprawował urząd ministra robót publicznych, od 1954 kierował również resortem komunikacji.
W październiku 1955, po śmierci Aleksandrosa Papagosa, król Paweł I powierzył mu misję utworzenia nowego rządu. Stanowisko premiera Konstandinos Karamanlis zajmował do czerwca 1963 z dwoma kilkumiesięcznymi przerwami (od marca do maja 1958 i od września do listopada 1961). Jeszcze w 1955 na bazie poprzedniego ugrupowania powołał i stanął na czele Narodowej Unii Radykalnej, którą kierował do 1963. W okresie rządów inicjował reformy mające odbudować grecką gospodarkę zniszczoną w wyniku II wojny światowej i wojny domowej. W polityce zagranicznej opowiadał się za niepodległością Cypru (zaakceptowaną w 1960) i akcesją Grecji do Europejskiej Wspólnoty Gospodarczej (w 1961 podpisano układ stowarzyszeniowy). W czerwcu 1963 po konflikcie z królem ustąpił z funkcji premiera i na kilka miesięcy wyjechał z kraju. Jego ugrupowanie przegrało w tym samym roku wybory parlamentarne z centrystami Jeorjosa Papandreu. Były premier zdecydował się wówczas wyemigrować do Paryża. Pozostał tam również w okresie junty czarnych pułkowników, co pewien czas publikując apele wzywające dyktaturę wojskową do rezygnacji.