Pod koniec lata, muzułmanie dokonali wypadu z miasta wywołując spore zamieszanie w obozie krzyżowców, lecz nie zdołali zdobyć zamku Saint-Gilles. W walkach bardzo ucierpiał sam Rajmund, na którego zawalił się płonący strop.
Pod koniec zimy 1105 roku, naciski ze strony wojsk oblegających miasto zmusiły Fachr al-Mulka do zawarcia z nimi chwilowego rozejmu, na mocy którego oddawał im przedmieścia Trypolisu. Krótko po zakończeniu tych negocjacji, Rajmund, który po wypadku sprzed pół roku nigdy nie odzyskał już pełni sił, zapadł na ciężką chorobę. Zmarł 28 lutego 1105 w Saint-Gilles. Z powodu sławy i powszechnego uznania, jakie zyskał sobie dzięki swoim osiągnięciom na Wschodzie, jego śmierć wzbudziła wśród chrześcijan wielką żałobęAlbert z Akwizgranu, loc. cit.; Wilhelm z Tyru, XI, 2, s. 452..
Śmierć Rajmunda od razu wyłoniła palącą kwestię sukcesji, co dotyczyło zarówno jego zdobyczy na Wschodzie, jak i posiadłości w Tuluzie. Przed wyruszeniem na krucjatę, zarządzanie hrabstwem w Europie powierzył swojemu najstarszemu synowi Bertrandowi, którego prawa do dziedziczenia nie były jednak pełne, ponieważ pochodził z nieprawego łoża. Jednocześnie, zaledwie kilka tygodni przed śmiercią hrabiego, jego żona urodziła mu w Saint-Gilles nowego syna, Alfonsa Jordana.