13 listopada 2003 roku został wypożyczony na jeden miesiąc do Rushden & Diamonds. Zadebiutował tam dwa dni później w meczu League One z Hartlepool United, przegranym 2:1. Po uprzednim otrzymaniu pozwolenia przez zespół Reading, w grudniu okres wypożyczenia Ashdowna został przedłużony do 10 stycznia 2004 roku, zaś następnie do końca sezonu. Ostatecznie do Reading powrócił 15 marca 2004 roku z powodu kontuzji kolana Marcusa Hahnemanna. Łącznie dla Rushden & Diamonds rozegrał 19 meczów. Po powrocie rozegrał dziesięć meczów w Reading.
Po wygaśnięciu kontraktu, latem 2004 roku przeszedł do Portsmouth. W klubie tym zadebiutował 21 września w wygranym 1:0 meczu Pucharu Ligi z Tranmere Rovers. 20 listopada po raz pierwszy zagrał w Premier League dla Portsmouth. Wystąpił wówczas w przegranym 3:1 spotkaniu z Manchesterem City. Łącznie w sezonie 2004/2005 rozegrał 16 meczów w lidze, rok później wystąpił 17-krotnie.