Klub wywodził się z połączenia dwóch niewielkich zespołów rywalizujących o dominację w piłce nożnej w La Banda. Jeden z nich prowadzony był przez Dona José Maríę Heredię, a drugi przez Dona Julio Trejo. Zmęczeni wzajemną rywalizacją, zdecydowali się połączyć siły. Dnia 16 kwietnia 1909 roku, za wspólnym porozumieniem, odbyło się zgromadzenie, na którym postanowiono założyć jeden klub. Aby nadać nazwę nowej instytucji, zaproponowano dwa nazwiska: byłego prezydenta Domingo Faustino Sarmiento oraz admirała Guillermo Browna. W głosowaniu zwyciężyła propozycja pierwsza, od tego momentu klub funkcjonuje jako Club Atlético Sarmiento.
W historii piłkarskiej Sarmiento pojawiło się wiele znaczących postaci, m.in.: Coco Gallardo, Manuel Bellido, Eberto Lencinas, Luis More, Ramón Barraza (ojciec i syn), bracia Urquiza, leworęczny Sayago, Carrillo, Moscardini, Toto Suárez, Orlando Suárez, Pepe Casares, Albarracín, Macció, Américo Santillán, Pepe Bellido, Padilla, Gringo Bobba, Jorge, Ávila, López, Carabajal, Paz, Soria, Lastra, Casares, Avallay, Alzogaray, Ledesma oraz bramkarze: Aguirre, Leiva, Generoso, Ruiz i Cavalieri.