Studia zakończył w roku 1977. Po ich ukończeniu przez dwa lata pracował w Procter & Gamble jako asystent menedżera produktu, gdzie dzielił biuro z Jeffreyem Immeltem – późniejszym prezesem GE. Mimo dobrych wyników w pracy postanowił kontynuować naukę na Stanford Graduate School of Business. Jednak kiedy w 1980 roku dostał propozycję współpracy od Gatesa w rozwijającym się dopiero Microsofcie, porzucił studia. Na początku miał pracować tylko przez okres letnich wakacji, jednak po długich namowach zgodził się przyjąć propozycję pracy na stałe. Został zatrudniony jako 24. pracownik Microsoftu z pensją w wysokości 50 000 USD rocznie. Otrzymał także 8% udziałów w przedsiębiorstwie, które w 1981 zostało przemianowane na spółkę. Ballmer zajmował się budową struktury finansowej przedsiębiorstwa, później pracował między innymi w dziale sprzedaży oraz dziale systemów operacyjnych. W 1998 uzyskał awans na stanowisko głównego dyrektora, a po dwóch latach, 13 stycznia 2000 roku, zastąpił Gatesa na stanowisku dyrektora generalnego. Uzyskał dzięki temu pełną kontrolę nad finansami przedsiębiorstwa, jednak to Gates nadal kierował technologiczną wizją spółki i przez to często dochodziło między nimi do spięć.