U schyłku nauki przygotowującej do kapłaństwa Grzywnowicz nabrał wątpliwości co do słuszności wyboru drogi życiowej i ostatecznie święceń nie przyjął, na co nie bez wpływu pozostały śmierć ojca (29 listopada 1921) oraz arcybiskupa Józefa Bilczewskiego (20 marca 1923), z którym kleryk czuł się blisko związany.
Po wystąpieniu z seminarium Grzywnowicz opuścił Lwów i przeniósł się do Wilna, gdzie uzyskał dyplom magistra filologii klasycznej. Wkrótce podjął pracę jako nauczyciel gimnazjalny w Święcianach, potem w Grodnie. W połowie lat 20. zawarł związek małżeński z Felicją Nałęcz-Dylkiewiczówną, pochodzącą z zubożałej litewskiej rodziny hrabiowskiej. Po kilkuletniej pracy w Grodnie przeniósł się do Rybnika i w miejscowym Gimnazjum i Liceum uczył łaciny, greki oraz historii. W szkole rybnickiej miał okazję pracować wspólnie z mężem młodszej siostry żony, Innocentym Liburą.