Aktywność niemieckich grup antyhitlerowskich w okresie pomiędzy 1940 a 1942 była niewielka w związku z sukcesami wojskowymi Hitlera oraz ich masowym poparciem społecznym. Dopiero atak na ZSRR w czerwcu 1941 oraz rozpoczęcie eksterminacji europejskich Żydów doprowadziła Ostera oraz skupioną wokół niego grupę oficerów Abwehry do nawiązania kontaktu z Henningiem von Tresckowem oficerem sztabowym Grupy Armii „Środek”. Oster przygotował dla von Tresckowa bomby użyte w Ponadto odnowił kontakt z gen. Olbrichtem ze sztabu OKH (w 1943 przeszedł do sztabu OKW), późniejszym spiskowcem 20 lipca 1944. W 1942 Oster został awansowany na stopień generalski odpowiadający generałowi brygady (niem. Generalmajor).
Uwięzienie i śmierć Gestapo zainteresowało się Osterem w wyniku aresztowania von Dohnanyi w kwietniu 1943, wobec którego postawiono zarzut przestępstw walutowych związanych z przerzutem Żydów do Szwajcarii. W trakcie śledztwa odkryto rolę Ostera, zwalniając go ze stanowiska w Abwehrze, a później umieszczając w areszcie domowym, co zadało poważny cios spiskowcom skupionym w tej instytucji.