W latach 1905–1910 uczył się malarstwa w studiu Iwana Rerberga w Moskwie. W tym okresie przeniósł się do Moskwy i ożenił po raz drugi. Od 1910 roku związał się z awangardą moskiewską, wystawiał z grupami: Bubnowyj Walet, Gołubaja rosa i Oslinnyj chwost. Początkowo znajdował się pod wpływem Paula Cézanne’a, rosyjskich postimpresjonistów, fowizmu, ekspresjonizmu i kubizmu. W 1915 roku w Piotrogrodzie ogłosił program suprematyzmu, najbardziej radykalnego kierunku abstrakcjonizmu. Odrzucał ikonografię sztuki przedstawieniowej, uznając linię prostą oraz nie występujący nigdzie w przyrodzie kwadrat jako symbole przewagi człowieka nad chaosem. Zapoczątkowaną przez siebie rewolucję w sztuce utożsamiał z rewolucją socjalistyczną w Rosji.

Po rewolucji październikowej prowadził działalność pedagogiczną i artystyczną w Witebsku, pozostającego wówczas w granicach Rosyjskiej FSRR (grupa Unowis). W 1918 roku został urzędnikiem Ludowego Komisariatu Oświaty Rosyjskiej FSRR. W 1921 roku brał udział w wystawie z okazji III Kongresu Rosyjskiej Partii Komunistycznej. W latach 1922–1926 kierował Państwowym Instytutem Kultury Artystycznej w Piotrogrodzie. Jego pierwsza zagraniczna wystawa odbyła się w 1922 roku w ramach "Pierwszej Wystawy Sztuki Rosyjskiej w Niemczech", zorganizowanej w Berlinie przez Wasilija Kandinskiego.