W 1933 Oster podjął pracę w Ministerstwie Lotnictwa na stanowisku cywilnym, by pod koniec roku przejść do Abwehry (niem. Abwehr – wywiad i kontrwywiad wojskowy) podlegającej wówczas Ministerstwu Obrony. W tym czasie poznał kolejnych uczestników przyszłego zamachu na Adolfa Hitlera – szefa Kripo (niem. Kriminalpolizei) Arthura Nebe i Hansa Bernda Giseviusa wysokiego funkcjonariusza tajnej policji państwowej Gestapo (niem. Geheime Staatspolizei) prowincji pruskiej. Oster stał się także bliskim współpracownikiem Wilhelma Canarisa, szefa Abwehry.
Udział w opozycji antyhitlerowskiej Podobnie jak wielu innych oficerów, Oster początkowo popierał rządy nazistowskie, ale noc długich noży pozbawiła go zupełnie złudzeń. W 1935 Oster powrócił do służby wojskowej na stanowisko dowódcze wydziału III C1 (część wywiadu krajowego) Abwehry i awansował na stopień podpułkownika. Wtedy też rozpoczęła się jego bardziej ścisła współpraca konspiracyjna z Giseviusem i Hansem von Dohnanyi.