W sezonie 2003 sytuacja uległa pogorszeniu. Do serii dołączyły inne czołowe zespoły CART, Ganassi Racing oraz Andretti Green Racing i Hornish musiał uznać wyższość tej koalicji. Wprawdzie jeszcze przed ostatnim wyścigiem sezonu miał szansę na trzeci kolejny tytuł, czym wyrównałby rekord wszech czasów Teda Horna, lecz awaria silnika na torze Texas Motor Speedway spowodowała, że w klasyfikacji końcowej zajął piąte miejsce.
Po zakończeniu kariery przez Gila de Ferrana, Hornish został jego następcą w zespole niegdysiejszego rywala, Penske Racing. Sezon 2004 rozpoczął od mocnego uderzenia, mianowicie zwycięstwa na torze Homestead-Miami Speedway, ale później zaliczył kilka wypadków i ostatecznie zajął siódme miejsce w klasyfikacji końcowej. Był to jego najsłabszy sezon od momentu debiutu w IRL cztery lata wcześniej.
Sezon 2005 został zdominowany przez Dana Wheldona, natomiast Hornish (odnosząc dwa zwycięstwa) uplasował się na trzeciej pozycji, przegrywając jeszcze z Tony Kanaanem.