Po tym okresie był asystentem Horsta Köppela w Borussii Mönchengladbach.
W maju 2007 podpisał kontrakt z najwyższej klasy greckim zespołem Skoda Ksanti, lecz po zaledwie miesiącu kontrakt został rozerwany z powodów prywatnych.
Pod koniec 2007 roku podpisał kontrakt z walczącym w 2. Bundeslidze Kickers Offenbach, ale nie był w stanie uchronić ich przed spadkiem.
20 maja 2008 zastąpił Jürgena Kloppa na stanowisku trenera Mainz i pod jego rządami zespół wywalczył awans do Bundesligi. Pomimo sukcesu zespołu Andersen został zwolniony 3 sierpnia 2009.
W grudniu 2010 roku został mianowany menadżerem greckiej drużyny AE Larisa. Po 24 dniach pracy, podczas których drużyna przegrała trzy mecze ligowe i odpadła z rozgrywek pucharowych, nie strzeliwszy ani jednej bramki, został zwolniony. Sześć miesięcy później Andersen wrócił do Niemiec, obejmując drużynę drugiej ligi Karlsruher SC.
W styczniu 2015 objął posadę trenera Austrii Salzburg, którą opuścił w grudniu tegoż roku. W maju 2016 został szkoleniowcem reprezentacji Korei Północnej. Był to pierwszy od 1993 przypadek zatrudnienia przez Koreę Północną zagranicznego menedżera. W 2018 opuścił on Koreę Północną po dwóch latach pracy w zespole.