Motywacja Gersteina podczas wstępowania do Waffen-SS pozostała punktem spornym w przyszłych ocenach jego działań.
Waffen-SS thumb|upright=1.2|Pojemniki z cyklonem B Podstawowe szkolenie Waffen-SS rozpoczął 10 marca 1941. Odbywało się w Arnhem w Holandii oraz w obozie koncentracyjnym Sachsenhausen. Po zakończeniu szkolenia dowództwo uwzględniło fakt wykształcenia Gersteina w zakresie inżynierii i medycyny i w czerwcu 1941 skierowało go do pracy w służbie medycznej w dziale higieny w berlińskim oddziale SS. 1 listopada 1941 otrzymał stopień SS-Untersturmführera (podporucznika). W styczniu 1942 Gerstein został kierownikiem Sanitarnego Biura Technicznego Instytutu Zdrowia Waffen-SS, gdzie opracowywał techniki dezynsekcyjne i uzdatniania wody dla oddziałów bojowych. Kolejnym zadaniem było dostarczanie cyklonu B do Auschwitz i innych obozów.
Pierwsze polecenie w tej sprawie Gerstein otrzymał 8 czerwca 1942 od Sturmbannführera , zastępcy Adolfa Eichmanna w Reichssicherheitshauptamt (RSHA).