Jesienią 1942 roku do obozu Annaberg kierowano też Żydów zachodnioeuropejskich, którzy byli selekcjonowani z transportów do Auschwitz-Birkenau, na stacji w Koźlu. Dla wielu więźniów pobyt w obozie na Górze Świętej Anny był zaledwie etapem w wojennej poniewierce, stamtąd kierowano ich do innych obozów zarówno pracy, jak i koncentracyjnych. Od listopada obóz pełnił przez kilka miesięcy funkcje obozu szpitalnego w sieci Organisation Schmelt (Juden-Krankenlager). Przebywający w obozie nie pracowali już przy budowie dróg, co wiązało się zatrzymaniem projektu budowy autostrad. Więźniów skierowano wówczas do prac przy budowie fabryk w Blachowni Śląskiej i Zdzieszowicach. W 1943 roku po zakończeniu akcji likwidacyjnej gett na terenie Śląska i Zagłębia Dąbrowskiego w obozie przebywało około 1000 więźniów. Powiększono wówczas obszar i dobudowano kolejne baraki. Wraz z rodziną trafił tam znany po wojnie pisarz i historyk Arno Lustiger z Będzina, kuzyn kardynała Jean-Marie Lustigera. Annaberg stał się też obozem magazynowym, dokąd przywożono rzeczy zrabowane Żydom z likwidowanych gett. Przeniesiono wówczas siedzibę Dienstelle, która dotychczas mieściła się w Sosnowcu. Większość więźniów we wrześniu 1944 roku przeniesiono z Annaberg do obozu w Blachowni Śląskiej, który stał się filią obozu w Oświęcimiu (Auschwitz III).