Na Kresach zaś sytuacja ekonomiczna okupacji sowieckiej zmusiła matkę do podjęcia pracy jako nauczycielka języka rosyjskiego w dziesięciolatce, bracia zaś rozpoczęli naukę w sowieckiej szkole.
13 kwietnia 1940 roku Sławomir Dawidziuk został deportowany wraz z matką i bratem do Związku Sowieckiego, gdzie w okresie maj 1942 – listopad 1944 roku pracował przymusowo w Republice Kazachskiej przy budowie kolei Akmolińsk – Kartały w charakterze robotnika, cieśli i brygadzisty. Następnie – po rozpoczęciu reewakuacji – od listopada 1944 do stycznia 1946 roku na Ukrainie w Zarządzie Iwańkowskich Kolei Dojazdowych jako robotnik fizyczny i pomocnik maszynisty. Tam wstąpił do Związku Patriotów Polskich. Przez długi czas zarabiał na utrzymanie całej rodziny; chora na serce (angina pectoris) matka nie mogła podjąć pracy. Na obczyźnie otoczyła ona stałą opieką sierotę Danutę Nieścior, którą – aby umożliwić jej powrót – podała za swoją córkę. Z zesłania powrócił z matką i „siostrą” do Bielska Podlaskiego 17 lutego 1946 roku. Wywózkę, która pozbawiła go dzieciństwa, zawsze wspominał jako „poniewierkę i walkę o przetrwanie w głodowych warunkach”. W latach 90. napisał wspomnienia z tego okresu pt. Przez pryzmat wspomnień. Deportacja 1940–1946, których obszerne fragmenty opublikowano na łamach „Przeglądu Geodezyjnego” w latach 1991–1992.