By podkreślić swe rządy przybrał tytuł króla i inne tytuły jakimi posługiwali się władcy Neapolu: króla Węgier, Jerozolimy, Sycylii, Dalmacji, Chorwacji, hrabiego Prowansji i Piemontu. Jednak bezwzględne rządy Jakuba nie spodobały się nawet popierającym go do tej pory możnym, którzy uwolnili królową, zaś Jakuba uwięzili. Hrabia La Marche przegrał tę próbę sił i w 1419 został zmuszony zrezygnować z królewskich prerogatyw, opuścił stolicę, zadowalając się ostatecznie jedynie tytułem księcia Tarentu. Małżeństwo Joanny i Jakuba nigdy nie zostało anulowane.
Faworyt Giovanni Caracciolo. Walki z Ludwikiem III i Alfonsem V Kolejnym faworytem królowej został tymczasem hrabia Avellino, Giovanni Caracciolo (zwany Sergianni), przywódca buntu przeciw Jakubowi Burbonowi. Po wygnaniu Jakuba, w październiku 1419, za zgodą papiestwa, odbyła się oficjalna koronacja Joanny.
W tym czasie Sergianni całkowicie przejął kontrolę nad rządami królestwa. Za jego sprawą pogorszyły się relacje Joanny z papieżem Marcinem V, któremu za radą Siergianniego, królowa odmówiła pomocy materialnej i wojskowej. Wówczas papież wezwał z Francji Ludwika III AnjouDziad Ludwika III, Ludwik I (zm. 1384) został władcą Andegawenii (franc.