Rok później przeniósł się do Charkowa, wówczas stolicy radzieckiej Ukrainy, tam kierował działem teoretycznym Ukraińskiego Instytutu Fizyko-Technicznego (UFTI) i katedrą fizyki teoretycznej Charkowskiego Instytutu Inżynierii Mechanicznej, w 1934 roku otrzymał stopień doktora nauk nie mając stopnia kandydata nauk, od 1935 roku wykładał fizykę teoretyczną na Charkowskim Uniwersytecie Państwowym. W 1937 roku przeniósł się do Moskwy, na zaproszenie Piotra Kapicy kierował działem teoretycznym Instytutu Problemów Fizycznych Akademii Nauk ZSRR.

Gdy NKWD aresztowało i rozstrzelało jego kolegów z UFTI w ramach stalinowskiej Wielkiej Czystki, w 1938 roku Landau, w ramach działania zorganizowanego przez profesora fizyki w Instytucie Problemów Fizycznych Jurija B. Rumera, zredagował ulotkę napisaną przez docenta fizyki Moskiewskiego Państwowego Instytutu Pedagogicznego imienia Andrieja Bubnowa Mojsieja Koreca, potępiającą zbrodnie NKWD i stalinizm oraz nazywającą ówczesnego przywódcę radzieckiego Józefa Stalina faszystowskim dyktatorem, nienawidzącym socjalizmu. Uczeni zostali aresztowani przez radzieckie służby bezpieczeństwa pod zarzutem agitacji antyradzieckiej i osadzeni w moskiewskim więzieniu NKWD Butyrki. Wszyscy trzej stracili pracę, a Landaua usunięto z listy pracowników Instytutu Problemów Fizycznych.