Kolstad wcześnie angażował się w prace organizacyjne w sektorze rolnym i piastował szereg wybranych stanowisk w organizacjach rolniczych. Był jedną z głównych sił stojących za decyzją z 1920 roku o przekształceniu Norweskiego Stowarzyszenia Rolników w partię polityczną, której w 1922 roku został członkiem po przekształceniu na Partię Rolników (Partię Chłopską) i Norweski Związek Rolników. W latach dwudziestych był liderem Związku Rolników w Østfold, a także zarządu krajowego związku. Był rzecznikiem Partii Chłopskiej w sprawach finansowych i wiodącą siłą w kształtowaniu polityki norweskiej od późnych lat dwudziestych. Przez kilka lat był radnym gminy Tune i zarządcą rady.
Został wybrany na członka Stortingu w 1921 roku. Podczas kryzysu rządowego w 1931 roku stał się kandydatem partii na urząd premiera z powodu długiego doświadczenia w Storlingu oraz posady zastępcy delegata Norwegii do Ligi Narodów. W 1931 roku został mianowany przez króla Haakona VII premierem i sformował rząd, który uzyskał poparcie tylko 25 ze 150 członków Storting, a kryzys gospodarczy jeszcze bardziej skomplikował jego warunki pracy. Objął także tekę ministra finansów. Problemy rządu odbiły się na zdrowiu Kolstada. W połowie stycznia 1932 roku trafił do szpitala, gdzie zdiagnozowano u niego zakrzepicę.