Nowym przewodniczącym partii został Donald Tusk. Początkowo objął on również stanowisko przewodniczącego klubu parlamentarnego, jednak jeszcze w tym samym roku zastąpił go Jan Rokita. W tym samym roku Jan Rokita został także jednym z członków sejmowej komisji śledczej powołanej w celu wyjaśnienia tzw. afery Rywina. Partia opowiadała się wtedy za przystąpieniem Polski do Unii Europejskiej, wyrażając jednocześnie poparcie dla utrzymania systemu głosowania z traktatu nicejskiego. Notowania PO powoli zaczęły rosnąć. 20 czerwca 2003 posłowie PO głosowali za wnioskiem o wotum nieufności wobec rządu Leszka Millera. W 2004 odbyły się pierwsze wybory do Parlamentu Europejskiego w Polsce – partia uzyskała 24,1% głosów, co dało jej pierwsze miejsce i 15 spośród 54 mandatów, które przypadły polskim eurodeputowanym. Taki wynik PO pozwolił jej także na uzyskanie stanowiska wiceprzewodniczącego Parlamentu Europejskiego dla Jacka Saryusz-Wolskiego. W maju 2005 w związku z oskarżeniami o nepotyzm partię opuściła jedna z jej wiceprzewodniczących – Zyta Gilowska.