Wybór Paolo Scolariego wynikał prawdopodobnie z chęci powrotu kurii papieskiej do Rzymu, po, trwającym od 1184 roku, wygnaniu. Liczono, że pochodzący z rzymskiej rodziny papież lepiej niż jego poprzednicy, ułoży sobie stosunki z władzami miejskimi Wiecznego Miasta. Nadzieje te ziściły się bardzo szybko, gdyż już w lutym 1188 Klemens III powrócił wraz z kurią do miasta i bez większych przeszkód osiadł na Lateranie. 31 maja tego samego roku senatorowie rzymscy podporządkowali się papieżowi, w zamian za doroczne płatności. Wkrótce potem Państwo Kościelne zostało uwolnione spod okupacji Henryka VI, dzięki rozwiązaniu konfliktu dotyczącego obsady arcybiskupstwa w Trewirze – papież odwołał obu rywalizujących kandydatów i wspólnie z cesarzem zgodził się na przeprowadzenie nowej elekcji. Papież wyraził także zgodę na koronację Henryka na cesarza.
Jednym z głównych zadań absorbujących papieża były przygotowania do III krucjaty, którą ogłosił jego poprzednik Grzegorz VIII. W tym celu, Klemens rozesłał po Europie legatów wzywających możnych do wzięcia krzyża i starających się – z różnym skutkiem – zaprowadzić pokój między chrześcijańskimi władcami, aby umożliwić im udział w krucjacie.