We wrześniu 1939 opuścił Rybnik wraz z dwoma siostrzeńcami, z zamiarem dołączenia do polskich wojsk, a potem do partyzantki. Nie udało mu się zrealizować tego planu i powrócił na krótko do Rybnika, by zabrać rzeczy niezbędne najbliższej rodzinie, która znalazła schronienie w Swojczanach na ziemi miechowskiej. W Rybniku został aresztowany przez hitlerowców. Wysłany do obozu koncentracyjnego Dachau, spędził tam półtora roku, w tym dwie kolejne zimy. Będącego w stanie skrajnego wyczerpania uratowała interwencja żony, która odnalazła w Berlinie wysoko ustosunkowanego dawnego ucznia Grzywnowicza. Pozwoliło to na uzyskanie zwolnienia z obozu.

Grzywnowicz, po okresie rekonwalescencji, przystąpił w rodzinnym Budzyniu do organizowania tajnego nauczania. Prowadził je w dwóch grupach na poziomie klas V-VII szkoły powszechnej oraz czterech pierwszych klas gimnazjalnych, zgodnie z przedwojennymi programami nauczania. Sam zdobywał dla uczniów podręczniki i lektury, a do lekcji udostępnił swoje mieszkanie. Mimo humanistycznych zainteresowań, prowadził zajęcia z wszystkich przedmiotów: religii, polskiego, łaciny, niemieckiego, historii, przyrody, matematyki, chemii, fizyki;