22 kwietnia 1934 roku został mianowany kierownikiem Gestapo. Był jednym z organizatorów nocy długich noży i współtworzył listę ludzi, którzy mieli zostać skrytobójczo zamordowani.
26 czerwca 1936 roku stanął na czele Sicherheitspolizei, która była organem powstałym z połączenia Gestapo i policji kryminalnej. W dalszym ciągu pełnił funkcję kierownika Służby Bezpieczeństwa. Jako wysoki urzędnik III Rzeszy dążył do ciągłego rozszerzania definicji wrogów Rzeszy i przyjmowania na wysokie stanowiska państwowe osób na podstawie głębokiego zaangażowania ideologicznego i odpowiednich kryteriów „rasowych”. 27 września 1939 roku został kierownikiem Głównego Urzędu Bezpieczeństwa Rzeszy, instytucji będącej połączeniem Policji Bezpieczeństwa i Służby Bezpieczeństwa.
W 1939 roku Heydrich zorganizował prowokację gliwicką, która stanowiła pretekst do ataku III Rzeszy na II Rzeczpospolitą. Po wybuchu II wojny światowej utworzone i nadzorowane przez Heydricha Einsatzgruppen – których głównym celem miało być „neutralizowanie” ośrodków potencjalnego oporu wobec nazistów poprzez mordowanie polskich intelektualistów, ludzi nauki, wysokich urzędników i Żydów – dokonywały zbrodni wojennych i aktów terroru na nieznaną dotąd skalę. Podobne zadania oddziały SS wykonywały podczas operacji „Barbarossa”.