W czasie II wojny światowej, od 1940 urzędowała tu Żydowska Rada Starszych. Judenrat powstał w miejsce gminy żydowskiej, działającej wcześniej przy Synagodze Głównej. Nie mogła tam nadal urzędować ze względu na to, że Niemcy urządzili tam magazyny broni. Żydowska Rada Starszych w Szydłowcu została rozwiązana w 1944 r.
Hotel W latach 70. XX wieku, w Szydłowcu brakowało miejsc noclegowych dla turystów, lokalny magistrat, w którego posiadaniu był budynek, urządził w nim Dom Wycieczkowy "Pod Dębem", w tym też czasie budynek odrestaurowano i przeprowadzono niezbędne prace, łącznie z tynkowaniem. Hotel początkowo posiadał duże znaczenie, jednak pod koniec lat 80. zaczął je tracić aż w końcu budynek zamknięto i urządzono w nim magazyn.
Architektura Dom pod Dębem zbudowany jest na planie prostokątu, jest jednopiętrowy i posiada wysokie poddasze. Budynek zbudowany jest z miejscowego kamienia – piaskowca, a kryty jest czerwoną dachówką. Zwieńczenie budynku stanowi szeroki gzyms, malowany w kolorze ciemnoszarym. Fasada budynku jest tynkowana na biało, posiada bonie malowane na szaro, podobny kolor posiada podmurówka oraz niewielki ryzalit wejściowy, kolorem tym malowane są także pozostałe ściany budowli. Budynek opiera się na osi symetrii, która przebiega na drzwiach frontowych.