Zakończył także wojnę handlową z krajami produkującymi wino, która była wynikiem norweskiego ograniczenia spożywania alkoholu.
Pierwszy rząd Halvorsena został odwołany po tym, gdy opozycyjna lewica złożyła wniosek o reformę spraw szkolnych, do których początkowo nie przyłączał się rząd. Narastający kryzys z powodu strajków w kraju zaczął dzielić polityków całego parlamentu. Propozycja Olsena Naluma, posła wnioskodawcy, została przyjęta 67 głosami przeciwko 58 głosom. Opozycja urosła w siłę, zaś rząd Halvorsena podał się do dymisji 22 czerwca 1921 roku. Otto Blehr utworzył nowy rząd, podczas gdy Halvorsen został ponownie wybrany na prezydenta parlamentu. W 1921 roku został ponownie wybrany do Stortingu w ramach nowego systemu wyborczego. W 1922 roku ponownie objął stanowisko lidera partii Høyre i został wybrany na przewodniczącego parlamentu i przewodniczącego komisji konstytucyjnej Stortingu. W tym samym roku przekonano go do objęcia funkcji wiceprezesa zarządu banku centralnego Norwegii.
22 czerwca 1921 r. W lipcu tego roku jego wysiłki jako premiera zostały nagrodzone wielkim krzyżem Świętego Olafa.