Na początku XVI w. doszło do spadku znaczenia jego rodu. 3 maja 1500 r. Ulrichowi von Hardeckowi za 60 000 talarów zostało sprzedane hrabstwo kłodzkie, w 1509 r. książę opolski Jan II Dobry został panem Ziębic, a w 1517 r. Wołowa. Karol sprzedał również Ścinawę Janowi Thurzonowi, młodszemu bratu biskupa wrocławskiego.
Równocześnie Karol był ostatnim Podiebradem, którego znaczenie wychodziło poza Śląsk. W 1515 r. król Władysław Jagiellończyk mianował Karola swoim doradcą, a jego syn nominacje tę odnowił. Dalsza kariera wyglądała następująco: w 1519 r. został zwierzchnim wójtem Górnych Łużyc, w 1523 r. namiestnikiem Królestwa Czeskiego, w 1517 r. starostą generalnym Dolnego Śląska i dożywotnim starostą księstwa głogowskiego ze wszystkimi dochodami i korzyściami, a w 1528 r. został mianowany przez Ferdynanda I starostą Dolnego i Górnego Śląska. W 1532 r. potwierdzono mu dożywotnio wszystkie urzędy. Odzyskał księstwo ziębickie z Ząbkowicami, gdzie w latach 1524–1532 rozpoczął budowę zamku, której jednak nie ukończył z braku pieniędzy.