Latem 1935 roku, z powodu narastających represji wobec Żydów, Silberberg został zmuszony do opuszczenia swojego domu, za który otrzymał bardzo zaniżoną cenę w stosunku do ceny rynkowej; dom zajął dowódca batalionu SS, a następnie dowódca okręgu SD, SS-Sturmbannführer Ernst Müller pracujący na rzecz służby bezpieczeństwa NSDAP. Pierwotnie przeniósł się do dużo mniejszego mieszkania przy Kurfürstenstrasse 28 (obecnie ul. Racławicka). W październiku 1941 roku Max Silberberg wraz z żoną trafił do żydowskiego obozu przejściowego w klasztorze cysterek w Grüssau (obecnie Krzeszów). Z tego obozu Silberberg wysłał ostatni list do swojego syna; 29 kwietnia 1942 roku Max Silberberg wypełnił "deklarację majątkową", a Urząd Skarbowy odnotował w grudniu 1952 roku krótką notatkę: Max Israel Silberberg, ostatni raz zamieszkały w Grüssau, deportowany 30 maja 1942 roku. Po wymienionej dacie wrocławski kolekcjoner wraz z żoną zostali wywiezieni do getta w Theresienstadt, a ostatecznie do Auschwitz, gdzie zostali zamordowani. Alfred Silberberg doprowadził do uznania swoich rodziców za zmarłych 8 maja 1945 roku.