Z pełnionej funkcji odszedł 27 listopada 2003 roku.
W latach 2004–2008 był selekcjonerem reprezentacji Norwegii, z którą dotarł do baraży eliminacji mistrzostw świata 2006, w których drużyna Lwów przegrała rywalizację z faworyzowaną reprezentacją Czech (0:1, 0:1).
Następnymi klubami w karierze trenerskiej Hareide były: szwedzki IS Örgryte (2009), FK Viking (2009–2012) i ponownie tymczasowo IF Helsingborgs (2012) oraz szwedzkie FF Malmö (2014–2015), z którym w sezonie 2014 zdobył mistrzostwo i Superpuchar Szwecji.
W latach 2016–2020 był selekcjonerem reprezentacji Danii, z którą na mistrzostwach świata 2018 w Rosji dotarł do 1/8 finału, w której 1 lipca 2018 roku na Stadionie Striełka w Niżnym Nowogrodzie przegrał 3:2 po serii rzutów karnych (1:1 po dogrywce) z późniejszym wicemistrzem świata, reprezentacją Chorwacji. W 2018 i 2019 roku został wybrany Trenerem Roku w Danii.