Interesował się też słowianoznawstwem. Studiował pochodzenie, zasięg i migracje Słowian oraz zajmował się badaniami porównawczymi z zakresu językoznawstwa. Wiele pracy poświęcił badaniom mającym na celu odtworzeniu rodzimych nazw geograficznych na Warmii i Mazurach, głównie jezior. Jeszcze w latach 1940–1945 powstały niedrukowane prace jak „Polskie nazwy miejscowe dla Warmii i Pojezierza Mazurskiego”.
Był znakomitym narciarzem. Kochał Tatry i wciąż do nich wracał. W pewnym momencie władze komunistyczne postanowiły wykorzystać Siklawę w Pięciu Stawach Polskich do stworzenia elektrowni wodnej i zażądały od Olszewskiego ekspertyzy, na ile to przedsięwzięcie będzie rentowne. Oczywiście szrama na jednym z najpiękniejszych miejsc w Polsce, w samym sercu Tatrzańskiego Parku Narodowego była nie do pomyślenia, dlatego znalazły się proste i przekonywające argumenty, dzięki którym do dziś możemy się cieszyć nieskażonym pięknem Siklawy.