Clarke swoją piłkarską karierę zakończył w 1998 roku. Dwanaście miesięcy później poprowadził Newcastle United w jednym meczu po tym jak z funkcji trenera zrezygnował Ruud Gullit z którym niegdyś grał w Chelsea. W 2000 roku Clarke powrócił na Stamford Bridge. Przyjął najpierw pozycję scouta, ale szybko awansował na trenera młodzieżówki.
W 2004 roku Clarke został wybrany asystentem nowego trenera Chelsea, Jose Mourinho. Miał swój udział w zdobyciu przez The Blues dwóch tytułów Mistrza Anglii, jednego Pucharu kraju, Tarczy Wspólnoty oraz dwóch Pucharów Ligi Angielskiej w przeciągu trzech sezonów. W maju 2008 roku pojawiły się pogłoski, że Clarke może zostać asystentem Davida Moyesa w Evertonie.
12 września 2008 roku Clarke zrezygnował ze stanowiska jakie pełnił w Chelsea. Zarząd klubu ani ówczesny trener Luiz Felipe Scolari nie przyjęli dymisji Szkota. Trzy dni później doszło do porozumienia między The Blues i West Ham United na mocy którego Clarke został asystentem Gianfranco Zoli. Funkcję tę pełnił przez trzy lata.
W styczniu 2011 roku został asystentem Kenny'ego Dalglisha w Liverpoolu. 14 maja 2012 roku złożył rezygnację po odejściu Kenny'ego Dalglisha, jednak klub ją odrzucił. 6 czerwca 2012 roku po przyjściu Brendana Rodgersa, Clarke opuścił klub.