Następnie Leeds zdecydowało się wykupić go z Birmingham na stałe. Kilkenny 7 stycznia podpisał 3,5-letni kontrakt, a klub z Elland Road zapłacił za niego 150 tysięcy funtów. Pierwszą bramkę dla Leeds Kilkenny zdobył w marcowym pojedynku z Bournemouth.
24 czerwca 2011 podpisał 3-letni kontrakt z Bristol City W listopadzie 2013 został wypożyczony do Preston North End, a w styczniu 2014 został jego zawodnikiem i występował tam do roku 2016. Następnie grał Melbourne City, a w styczniu 2018 przeszedł do Perth Glory.
Kariera reprezentacyjna Kilkenny urodził się w Anglii, jednak w młodym wieku razem z rodzicami przeprowadził się do Australii i zamieszkał w mieście Brisbane. Miał możliwość gry w trzech reprezentacjach – Australii, Anglii oraz Irlandii. Przed Mistrzostwami Świata 2006 podjął decyzję o tym, że będzie grał dla zespołu „Socceroos”. W reprezentacji Australii Kilkenny zadebiutował 7 stycznia 2006 roku w rozegranym w Ulm spotkaniu przeciwko Liechtensteinowi. W latach 2007–2008 powoływany był do narodowej drużyny do lat 23. W 2008 roku znalazł się w szerokiej kadrze drużyny narodowej powołanej na obóz przed Igrzyska Olimpijskie w Pekinie i ostatecznie pojechał do Azji.