Pozostawał także w sporze politycznym z ojcem dotyczącym przyszłości Rodezji, przez który uciekł do Europy (został powołany do wojska i unikał wcielenia do armii). Tam poślubił Norweżkę o imieniu Elisabeth. Jean Smith w 1967 roku poślubiła Clema Tholeta, znanego wykonawcę rodezyjskich pieśni patriotycznych.
Po opuszczeniu uniwersytetu Ian Smith został wybrany do Zgromadzenia Parlamentarnego Rodezji Południowej. Wstąpił do rządzącej Partii Federalnej, gdy w 1953 roku formowała się Federacja Rodezji i Niasy. Kiedy federaliści ogłosili poparcie dla nowej konstytucji poszerzającej prawa polityczne większości murzyńskiej, Smith stworzył w 1961 roku Front Rodezyjski i przyciągnął do siebie „białych nacjonalistów”. Dzięki obietnicom stworzenia rządu opartego na białej mniejszości osiągnął duże poparcie w wyborach do parlamentu w 1962 roku. W kwietniu 1964, zostawszy premierem Rodezji Południowej (w 1963 doszło do rozwiązania federacji z Niasą), wydał swój pierwszy akt urzędowy, którym było wydalenie z kraju czterech czarnoskórych opozycjonistów. Zamieszki, które wybuchły wskutek tej decyzji, zostały stłumione przez policję. W czasie konferencji premierów Wspólnoty Narodów, odbywającej się w lipcu 1964, odmówił przyjęcia nowej konstytucji, która dawałaby czarnej większości możliwość przejęcia władzy.