Podczas pobytu na dworze papieskim poznał rzymskie dwie wdowy – Paulę i Marcelę, których został opiekunem duchowym. Krąg kobiet pragnących żyć w ascezie stopniowo się zwiększał, bowiem dołączyły: Asella, Marcelina, Felicyta, Lea i córki Pauli – Blezylla i Eustochia. Hieronim zachęcał kobiety do życia w dziewictwie, a pożycie małżeńskie uważał za niższy stopień doskonałości chrześcijańskiej. Spowodowało to sprzeciw niektórych Rzymian i doprowadziło do powstania traktatu Helwidiusza, który uważał małżeństwo za równowartą formę życia jak celibat i twierdził, że Maria z Nazaretu po urodzeniu Jezusa miała inne dzieci z Józefem. Hieronim potępił te poglądy w traktacie Przeciw Helwidiuszowi.
Pół roku po śmierci Damazego I, Hieronim został zaatakowany przez rzymską arystokrację i władze kościelne, nieprzychylne jego nawoływaniu do ascezy. Został także oskarżony o niemoralne prowadzenie się i uwodzenie kobiet, których był przewodnikiem duchowym. Powołano komisję, która ustnie przekazała Hieronimowi by opuścił miasto i złożył przysięgę, co zostało potem spisane jako oficjalny dokument. Latem 385 roku wyjechał z Rzymu, wraz ze swoim bratem Paulinianem i przyjacielem Wincentiuszem. W drodze do Ziemi Świętej towarzyszyły mu także Paula i Eustochia, choć wyruszyły osobno, ze względu na plotki jakie pojawiły się w Rzymie.