W kampanii wrześniowej armata wciąż była dość skuteczna, ale już w 1940, w czasie operacji Fall Gelb nie była w stanie przebić grubych pancerzy czołgów francuskich i brytyjskich (np. Matilda Mk II, Char B1 czy Somua S35). Nadal jednak służyła w armii niemieckiej aż do czasu ataku na Związek Radziecki, kiedy okazała się całkowicie bezsilna wobec czołgów T-34. Zyskała wtedy przezwisko „Anklopf” – „kołatka”.
Została zastąpiona armatą 5 cm PaK 38, ale w ograniczonym zakresie była używana jeszcze w 1945. Skuteczność dział próbowano poprawiać używając do nich nadkalibrowych pocisków kumulacyjnych (Stielgranate 41). Na lawetach części dział zamontowano lufy kalibru 75 mm, tworząc z nich działa piechoty 7,5 cm IG 37.
Działo przeciwpancerne PaK 36 było jednym z najczęściej używanych i najpopularniejszych dział przeciwpancernych z okresu przed II wojną światową.