W 1908 roku odwiedził 291 Gallery zaprzyjaźniając się z Alfredem Stieglitzem. Dołączył do grupy nowojorskich awangardzistów znanych jako „291”, mających w swych szeregach takich artystów, jak Arthur Dove, Marsden Hartley, Georgia O’Keeffe, John Marin, Charles Demuth i Paul Strand. Związek ze Stieglitzem zaważył na dalszej karierze Bluemnera. W 1910 roku postanowił on ostatecznie zerwać z architekturą, a w 1911 roku namalował swój pierwszy obraz olejny. Wczesne, dojrzałe prace artysty, poczynając od roku 1911, wyrażają w dużym stopniu jego zależność zarówno od filozofii niemieckiej jak i niemieckiego malarstwa ekspresjonistycznego. Z tych wczesnych prac tylko kilka przetrwało w formie, w jakiej zostały pierwotnie namalowane; z wielu z nich pościerał on i zeszlifował powierzchnie, by przerobić je kilka lat później.
Stieglitz po raz pierwszy w Ameryce zaprezentował w swojej galerii prace Henriego Matisse’a, Paula Cézanne’a i Vincenta van Gogha, wspierał też młodych amerykańskich malarzy, w tym Bluemnera, wystawiając ich prace w swojej galerii. Bluemner dzięki temu uzyskał solidne podstawy, jeśli chodzi o historię sztuki, aktywnie działał jako recenzent sztuki, wykładowca, pisarz i krytyk.