Praca przy kamieniołomie była bardzo ciężka. Więźniowie przez 12 godzin na dobę wynosili bloki granitu ważące kilkadziesiąt kilogramów. Każde uchybienie było okazją do zakatowania więźnia nawet na śmierć. Głodowe racje żywnościowe (ok. 1000 kcal), brak opieki lekarskiej oraz terror oprawców powodowały dużą śmiertelność. KL Gross-Rosen był postrzegany jako jeden z najcięższych obozów.
W latach 1941–1942 odsetek Żydów był w Gross-Rosen stosunkowo niewielki i nieustannie spadał, na co miała wpływ zarówno niewielka liczba Żydów kierowanych do Gross-Rosen, jak i akcja masowej „eutanazji”, która dotknęła 80% więźniów żydowskich w obozie głównym. W 1942 roku 37 ostatnich Żydów zostało skierowanych z Gross-Rosen do Auschwitz. Wówczas w obozie pozostali prawie wyłącznie więźniowie polityczni, inteligencja, członkowie ruchu oporu i inne nieżydowskie kategorie więźniów. Ponownie przywożeni od października 1943 Żydzi byli kierowani do rozbudowujących się wówczas podobozów, w których stanowili pokaźny odsetek więźniów. W 1944 roku wiele transportów żydowskich przyjeżdżało do Gross-Rosen, a z reguły bezpośrednio do jego filii, z Auschwitz (m.in.