Pierwszą żoną artysty była poślubiona w listopadzie 1939 tancerka i aktorka Kazimiera Kruszelnicka, drugą poślubiona 25 lutego 1956 w Łodzi aktorka i reżyserka Stefania Gintel-Domańska (rozwód w 1965), a trzecią poślubiona 7 października 1975 w Warszawie aktorka Izabela Wilczyńska, była żona dziennikarza Bronisława Trońskiego.
Kontrowersje Aktor do śmierci spotykał się z ostentacyjną niechęcią części kolegów, którzy nie wierzyli – lub nie chcieli uwierzyć – w jego niewinność (nie bez znaczenia była tu ponoć powierzchowność aktora – przystojny i inteligentny, ze skłonnością do wywyższania się i egotyzmu). Do jego najzagorzalszych przeciwników należał Bohdan Korzeniewski. To za sprawą jego donosu i oskarżenia o kolaborację z Niemcami do Departamentu Spraw Wewnętrznych AK, Szalawski został podczas okupacji skazany na hańbiącą karę ostrzyżenia włosów (ostrzygł się sam). Jego obrońcy, wśród których był m.in. Kazimierz Moczarski, nigdy jednak nie zwątpili w jego prawość.
Sam Szalawski do końca życia walczył o odzyskanie dobrego imienia. W 1966 Sąd Wojewódzki dla miasta Warszawy zdecydował wprawdzie o zatarciu skazania, jednak za jego życia nie przeprowadzono rehabilitacji.