Pomimo oficjalnej decyzji o zastąpieniu dział dywizyjnych kalibru 76,2 mm działami 107 mm, w biurze konstrukcyjnym przy Fabryce Nr 92, kierowanym przez Wasilija Grabina, kontynuowano prace nad działami 76 mm. W maju 1941 roku biuro projektowe W. Grabina wysunęło projekt umieszczenia na tym samym łożu co ZiS-2 nowo zaprojektowanej armaty kalibru 76,2 mm. Głównym inżynierem projektu mianowany został inż. A. Chwostin. Prototyp działa mający maksymalny kąt podniesienia +45° został ukończony w czerwcu 1941 roku i miesiąc później przeszedł próby. Pierwsze próby wykazały, że łoże jest jednak za delikatne jak na 76,2 mm armatę, w związku z tym lufa została wyposażona w hamulec wylotowy. Masa ZiSa-3 została maksymalnie zredukowana. Przyrządy celownicze mogły być obsługiwane przez jednego żołnierza, co bardzo ułatwiło proces celowania do obiektów ruchomych. Prócz tego postarano się, by konstrukcja była tak technologicznie prosta, jak to tylko możliwe (np. zamiast lufy z płaszczem zastosowano lufę jednolitą), starano się także wykorzystywać mechanizmy już produkowanych dział kalibru 76,2 mm takich jak armaty czołgowe F-32, w które były uzbrojone czołgi KW i F-34 czołgów T-34, a także armaty morskiej F-35 instalowanej na okrętach podwodnych typu SzCz.