U schyłku lat 50. Grzywnowicz z żoną zamieszkał ponownie w Rybniku. Żona zapadła niebawem na chorobę nowotworową, a rodzina żony uzyskała zgodę lekarzy na umieszczenie Grzywnowicza w zamkniętym zakładzie psychiatrycznym. Prawdopodobnie jako pretekst wykorzystano zwyczaj pouczania obcych ludzi na ulicy o szkodliwości palenia tytoniu (w czasie takich pogadanek nauczyciel potrafił wygrażać rozmówcy laską). Grzywnowiczowi nie pozwolono pojechać na pogrzeb żony, poddano także terapii elektrowstrząsami. Po interwencji Innocentego Libury oraz sióstr Stanisława Grzywnowicza uzyskano jego zwolnienie z zakładu, wraz z potwierdzeniem, iż poprzednia decyzja o konieczności leczenia w zamkniętej placówce była błędna.

Ostatnie lata życia Grzywnowicz spędził u siostrzenicy Felicji Pluty w Krakowie. Kończył tam prace nad swoim wieloletnim dziełem, kalendarzem imion polskich, który udało mu się wydać własnym nakładem w formie skryptu. Będąc nadal osobą głęboko religijną, jako wdowiec rozważał powrót do planów młodzieńczych i przyjęcie święceń kapłańskich, ale ostatecznie po rozmowach w kieleckiej kurii biskupiej wycofał się z tego zamiaru.