Sartowitz) koło Świecia.

18 maja 1928 w kościele mariackim w Gdańsku poślubił Mariannę Sahm, córkę Heinricha Sahma – Prezydenta Senatu Wolnego Miasta Gdańska, z którą miał trzech synów: (ur. 7 lutego 1929) (ur. 2 sierpnia 1933, zm. 30 grudnia 1996) (ur. 13 czerwca 1944)

Jego syn Wilhelm tak wspomina dom rodzinny:

Von Schwerin był członkiem NSDAP, jednakże ze względów czysto pragmatycznych, bez wewnętrznego przekonania. Doświadczenia takie, jak pucz Hitlera w listopadzie 1923, którego był świadkiem oraz zamordowanie w 1934 przywódcy SA Ernsta Röhma sprawiają, że Schwerin odrzucił doktrynę narodowosocjalistyczną.

Opozycja Początkowo przepełniony patriotycznym zapałem Schwerin pracował – jak to określił przed Trybunałem Ludowym – „dla niemieckości w Polsce i zbierał przy tym doświadczenia w stosunkach ze wschodnimi sąsiadami Niemiec”. W ciągu lat wzrosło jego zainteresowanie polityką. Już w 1932 podawał w wątpliwość sens ponownego wyboru Paula von Hindenburga na prezydenta Niemiec i przewidywał katastrofę po przejęciu władzy przez narodowych socjalistów. W 1934 do kręgu jego przyjaciół należeli Adam von Trott zu Solz, i . Schwerin odrzucał narodowy socjalizm jako niezgodny z jego przekonaniami chrześcijańsko-społecznymi.