Następnie został przeniesiony do radzieckiej strefy okupacyjnej w Niemczech.
Za porwanie polskich przywódców Stalin odznaczył go tytułem Bohatera Związku Radzieckiego i awansował do stopnia generała-pułkownika. Bolesław Bierut nadał mu w kwietniu 1946 roku Krzyż Orderu Virtuti Militari IV klasy. Order został odebrany Sierowowi w 1995 roku przez Prezydenta RP Lecha Wałęsę.
Po śmierci Stalina Sierow opowiedział się za Chruszczowem w walce z Ławrientijem Berią, za co objął stanowisko pierwszego zastępcy ministra w zintegrowanym Ministerstwie Spraw Wewnętrznych ZSRR (MWD). 13 marca 1954 roku powołany na przewodniczącego KGB, stanowisko to sprawował do 8 grudnia 1958 roku, zastąpił go Aleksandr Szelepin. Od grudnia 1958 do lutego 1963 roku szef Głównego Zarządu Wywiadowczego (GRU) (wywiadu wojskowego). Podczas sprawowania funkcji przewodniczącego KGB, Sierow m.in. brał udział w tłumieniu powstania węgierskiego w 1956 roku, osobiście dowodził operacjami KGB. Za stłumienie powstania na Węgrzech Sierow otrzymał drugi Order Kutuzowa I klasy w grudniu 1956.