Na mocy traktatu z Canfranc z 29 października 1288, on i jego dwaj starsi bracia w zamian za ojca zostali zakładnikami. Ponieważ w tym czasie Rajmund był chory, to został wysłany do Katalonii dopiero 23 lutego 1289, dołączając do braci w Moncada 9 marca 1289. Trzej bracia byli traktowani zgodnie ze swoim książęcym statusem i mogli otaczać się świtą około 100 młodych szlachciców. Rajmund zaprosił Pierre de Jean-Olieu do odwiedzenia go w więzieniu, lecz otrzymał tylko pocieszenie. Bracia zostali ostatecznie zwolnieni 7 czerwca 1295 zgodnie z postanowieniami traktatu z Anagni.
Po zwolnieniu wyjechał do Neapolu i zamieszkał w Castel dell’Ovo. Następnie za swoim bratem Ludwikiem udał do Rzymu. W 1297 wraz ze swymi braćmi Filipem i Janem podjął Jolandę, córkę Piotra III Aragońskiego, narzeczoną ich brata Roberta, by odprowadzić ją do Neapolu.