W wieku 17 lat zadebiutował jako pisarz. W 1922 r. zamieszkał w Moskwie, z zamiarem wykonywania zawodu dziennikarza, jednak pracował fizycznie. W 1924 r. osiadł na stałe w rodzinnych stronach – w Stanicy Wieszeńskiej i poślubił Marię Pietrownę Gromosławską (ur. 1901, zm. 1992). Mieli dwie córki i dwóch synów.
W latach 20. związany był z grupą literacką Młoda Gwardia. W 1924 zadebiutował opowiadaniem Znamię. Już wcześniej w prasie ukazywały się jego felietony. Dwa lata później, opublikował zbiór opowiadań – , w dużej części opartych na własnych przeżyciach. Był to jego debiut książkowy. Już rok wcześniej, w 1925 r., rozpoczął pracę nad dziełem swego życia – Cichym Donem. Powieść tę ukończył dopiero w 1940 r. W międzyczasie powstawały inne jego dzieła, m.in. , którego pierwszy tom opublikowany został w 1932 r., podczas gdy drugi ukazał się dopiero po wojnie, w 1959 r.
Aspekt polityczny Płynąca z utworów Szołochowa afirmacja budującej się radzieckiej rzeczywistości, mimo tragizmu indywidualnych losów i krętych ścieżek bohaterów, przysporzyła autorowi przychylności władz ZSRR, które wykreowały go na wielki autorytet moralny. Z drugiej strony przysporzyła mu również wrogów, którzy posunęli się nawet do oskarżeń o plagiat.