W efekcie Kazimierz zawrócił do Polski, jego wojska były napadane w drodze przez chłopów wezwanych przez Macieja Korwina do powstania. Nieudana wyprawa, podczas której dochodziło do rabunków, buntów nieopłaconego rycerstwa i gwałtów, była dużym przeżyciem dla trzynastoletniego, wrażliwego chłopca.
Po powrocie z Węgier wiosną 1472 roku Kazimierz wraz z młodszymi braćmi kontynuował naukę pod kierownictwem Długosza na zamku w Dobczycach. Zajęcia ze sztuki wojennej prowadził z królewiczami ochmistrz królewski, Stanisław Szydłowiecki. Do grona nauczycieli dołączył humanista Kallimach (Fillipo Buonaccorsi). Ambroży Contarini, dyplomata wenecki, w swoich pamiętnikach chwalił mowę powitalną piętnastoletniego królewicza wygłoszoną na jego cześć. Kazimierz był przez stykających się z nim ludzi uważany za zrównoważonego, inteligentnego i wykształconego młodego człowieka. Pomimo przeżyć nieudanej wyprawy na Węgry, pozostawał pod wpływem heroicznej legendy stryja Władysława Warneńczyka. Namówił Kallimacha i Piotra z Bnina do napisania żywota polsko-węgierskiego króla.