Po pół roku, w czasie zimowego okienka transferowego zawodnik został wypożyczony na okres rundy wiosennej do włoskiego US Palermo. W klubie z Sycylii Czech grał z numerem 89. W barwach różowo-czarnych wystąpił w zaledwie jednym meczu z Bolonią, kiedy to pojawił się na boisku w drugiej połowie. Choć Palermo zagwarantowało sobie możliwość pierwokupu, to jednak po zakończeniu wypożyczenia Čelůstka powrócił do Slavii. Sezon 2010/2011 w wykonaniu praskiego klubu był jednak wyjątkowo nieudany (dopiero dziewiąte miejsce w lidze), w związku z czym perspektywiczny obrońca ponownie zmienił pracodawcę.
8 lipca 2011 roku poinformowano, że za kwotę 900 tys. euro kartę zawodnika wykupił Trabzonspor. Z tureckim klubem Čelůstka podpisał pięcioletni kontrakt; otrzymał koszulkę z numerem 28. W rozgrywanym 13 września 2011 roku na San Siro meczu Ligi Mistrzów UEFA strzelił jedynego gola dla swojego nowego klubu podczas pojedynku z Intrem Mediolan.
12 sierpnia 2013 roku został wypożyczony na rok do angielskiego Sunderlandu. W 2014 roku przeszedł do 1. FC Nürnberg, a w 2015 do Antalyasporu.