Występowanie Zasiedla Europę kontynentalną na zachód od linii Wisły i Ukrainy – zachodnią i południową, a oprócz tego Bliski Wschód (zwłaszcza Azję Mniejszą), Kaukaz, Azję Środkową i północno-zachodnią Afrykę. Słowik rdzawy nie jest spotykany w północno-zachodniej Europie, Skandynawii i w większości wschodniej Europy.
Migracje Ten pospolity gatunek lęgowy wędruje na dalekie dystanse. Przylatuje w drugiej połowie kwietnia lub na początku maja, odlatuje w sierpniu–wrześniu. Leci na zachód, nocami. Zimę spędza w środkowej części Afryki, w tamtejszych lasach deszczowych. Śpiewające samce w trakcie migracji można wtedy spotkać w mniej typowych dla słowików środowiskach. Wraca do Europy przez Półwysep Pirenejski, a więc region, gdzie na te ptaki się poluje.
W Polsce Jest to jeden z dwóch gatunków słowików występujących w Polsce. Występuje głównie w południowo-zachodniej Polsce na obszarze niżowym. To średnio liczny ptak lęgowy. Jest bardzo podobny do słowika szarego, odróżnia go jednak inny śpiew. Osiedla się najczęściej na suchszych terenach (np. zakrzewionych parkach) oraz w pobliżu siedzib ludzkich. Przez kraj przebiegają granice występowania słowika rdzawego i szarego. Pierwszy związany jest z zachodnią połową kraju, a drugi ze wschodnią.