Uczestniczył w wojnie rosyjsko-japońskiej w latach 1904–1905 w stopniu generała majora, dowodząc Ussuryjską Brygadą Kawalerii, a następnie Syberyjską Dywizją Kozacką, z którą uczestniczył w bitwach nad Sha He, pod Sandepu. Zyskał wtedy reputację energicznego i dzielnego dowódcy. Byli jednak obserwatorzy, którzy wątpili w jego umiejętności strategiczne. Po bitwie pod Mukdenem w roku 1905 oskarżył generała Paula von Rennenkampfa o zaniechanie udzielenia mu pomocy w czasie walki. Między dowódcami doszło rzekomo do rękoczynów. Za zasługi bojowe Samsonow został kilkukrotnie odznaczony i otrzymał stopień generała porucznika. Po wojnie rosyjsko-japońskiej Samsonow został szefem sztabu Warszawskiego Okręgu Wojskowego (1905–1907), atamanem nakaźnym Wojska Dońskiego (1907–1909), a później generał-gubernatorem , atamanem Kozackiego Wojska Siedmiorzecza i dowódcą Turkiestańskiego Okręgu Wojskowego (od 1909). W 1910 r. został mianowany generałem kawalerii.