W 1933 roku KPÖ dekretem austrofaszystowskiego rządu Engelberta Dollfussa została zdelegalizowana razem z Socjaldemokratyczną Partią Austrii (SPÖ).
KPO zainicjowała powstanie robotnicze z 12 lutego 1934, była to próba ratowania demokracji przed faszyzmu z zamiarem zastąpienia jej republiką komunistyczną. Po klęsce powstania nazwanego później lutowym, liczba członków KPÖ gwałtownie wzrosła z 4000 do 16000 członków.
Pod koniec 1930 austriacki komunista Alfred Klahr po raz pierwszy wysnuł tezę "narodu austriackiego". Biuro Polityczne Komunistycznej Partii zdecydowało się na początku 1937 roku rozpocząć debatę na temat kwestii narodowej w Austrii. Było to w czasie, gdy socjaldemokraci austriaccy uważali przynależność Austriaków do narodu niemieckiego za sprawę oczywistąAlfred Klahr Gesellschaft - Alfred Klahr.
Po przyłączeniu Austrii do Rzeszy Niemieckiej w marcu 1938 roku, KPO podjęła gotowość do walki z nazistami. W okresie nazistowskim odegrała znaczącą rolę w austriackim ruchu oporu. Komuniści walczyli ramię w ramię z niektórymi byłymi przeciwnikami politycznymi (między innymi chadecy) Wielu działaczy partii uczestniczyło w misjach jako wolontariusze w innych krajach, między innymi podczas wojny domowej w Hiszpanii.