Wkrótce po tych wyborach z partii odszedł jej założyciel Tadeusz Mazowiecki. Unia Wolności opuściła Europejską Partię Ludową i w styczniu 2003 przystąpiła do Partii Europejskich Liberałów, Demokratów i Reformatorów. 17 września tego samego roku senatorowie związani z UW (z wyjątkiem wicemarszałka Kazimierza Kutza) opuścili klub Blok Senat 2001, tworząc koło senackie Unii Wolności.
W wyborach do Parlamentu Europejskiego w 2004 UW uzyskała wynik na poziomie 7,33% głosów, co dało jej 4 mandaty w Europarlamencie. Najwyższy indywidualny sukces uzyskał Bronisław Geremek, otrzymując 114 319 głosów, uzyskując tym samym znaczną przewagę nad kolejnymi kandydatami w warszawskim okręgu wyborczym oraz drugi wynik w kraju. 20 lipca 2004 Janusz Onyszkiewicz został wybrany na wiceprzewodniczącego Parlamentu Europejskiego.
Na kongresie z 7 i 8 maja 2005 partia została przekształcona w Partię Demokratyczną – demokraci.pl, która pozostała zarejestrowana pod tym samym numerem w ewidencji partii politycznych. PD w założeniach miała stać się poszerzeniem UW m.in. o polityków wywodzących się z lewicy, wśród jej założycieli był też Tadeusz Mazowiecki.