Kariera szkoleniowa Szybko zrezygnował z kariery piłkarskiej i z zamiarem zgłębiania warsztatu trenerskiego wyjechał do Anglii. Po powrocie do kraju przez dwa sezony pracował jako asystent i trener młodzieży. Dobra znajomość języka angielskiego pozwoliła mu na rozpoczęcie współpracy z Bobby Robsonem, najpierw w Sportingu i później – z dużo większym powodzeniem – w FC Porto i FC Barcelona. Ich największe sukcesy z tego okresu to dwa tytuły mistrza Portugalii oraz po jednym Pucharze i Superpucharze tego kraju. W Barcelonie Mourinho już przy boku następcy Robsona Holendra Louisa van Gaala wywalczył także dwukrotnie mistrzostwo Hiszpanii.
Uniao Leiria W 2000 roku objął posadę pierwszego trenera Benfiki, ale po miesiącu został wyrzucony po kłótni z prezesem. Do młodego szkoleniowca nie zrazili się jednak działacze Uniao Leiria. W kwietniu 2001 roku zaproponowali mu pracę, która zakładała szeroką autonomię w podejmowaniu decyzji. Właśnie w Leirii Mourinho odniósł swój pierwszy sukces. Jose objął Leirie na 7. kolejek przed końcem sezonu, gdy zespół był 7. w tabeli. W tych meczach Mourinho uzyskał bilans 5-1-1 ostatecznie zajmując z drużyną 5. miejsce, najlepsze w historii tego klubu. Miejsce to dawało prawo gry w Pucharze UEFA. W połowie sezonu 2001–2002, gdy z Leirią zajmował 4. miejsce, Mourinho przyjął ofertę FC Porto.