Życie prywatne Janusz Szweycer wywodził się z rodziny ziemiańskiej. Jego rodzicami byli: Michał Teofil Adam Szweycer h. Zadora (1843–1919) i Eufemia Suska z Giżyc h. Pomian (1854–1937). Żoną była zaś Maria Benigna Antonilla Dzik-Kożuchowska z Kożuchowa h. Doliwa (1885–1967), z którą miał siedmioro dzieci: Andrzeja (1912–1990), docenta doktora habilitowanego Akademii Rolniczej w Poznaniu, Stanisława (1913–1939), podchorążego 1 pułku ułanów, który poległ w walce z Niemcami we wsi Weliny–Ruś, odznaczonego pośmiertnie Krzyżem Virtuti Militari V klasy, Janinę Grupińską (1914–1994), Tomasza (1916–2008), Janusza (1918–2006), Zbigniewa (1920–1939), podchorążego 2 pułku ułanów, który poległ w bitwie z Niemcami w Woli Gułowskiej, odznaczonego pośmiertnie Krzyżem Virtuti Militari V klasy, Marię (1922–1996), zakonnicę w klasztorze Sacre Coeur, misjonarkę.

Dziadkiem Janusza Szweycera był Wincenty Szweycer, brat Michała Szweycera.

Janusz Szweycer zmarł w Poznaniu, lecz został pochowany na cmentarzu rzymskokatolickim w Łasku. W pogrzebie uczestniczyły władze miejskie wraz z pierwszym sekretarzem PZPR, a także lekarzem Żydem uratowanym przez Szweycera podczas II wojny światowej.