Szef Szin Bet i Mosadu W 1949 r., po kompromitacji i upadku Issera Be’eriego, pierwszego szefa wywiadu izraelskiego, Harel został dyrektorem Służby Bezpieczeństwa Wewnętrznego nazwanej oficjalnie Szin Bet, znanej także jako Szabek, na polecenie Ben Guriona. Mianowano go również memunehem, zwierzchnikiem wszystkich służb i koordynatorem operacji wywiadowczych Izraela, odpowiedzialnym wyłącznie przed premierem.

Następnie został szefem Mosadu – na stanowisku dyrektora Szin Betu zastąpił go Isi Dorot – po piastującym to stanowisko zaledwie przez 18 miesięcy swoim byłym przełożonym, Reuwenie Sziloahu. Sformował specjalną jednostkę tej instytucji, zajmującą się ściganiem byłych nazistów i zbrodniarzy wojennych, którym udało się zbiec zaraz po wojnie, przeważnie do krajów Ameryki Południowej, m.in. Argentyny. Na pierwszym miejscu jego listy znajdowało się nazwisko Adolfa Eichmanna, współodpowiedzialnego za wymordowanie kilku milionów żydów europejskich. Harel zgromadził dowody wskazujące, że w ucieczce do Ameryki Południowej pomagała Eichmannowi i innym tajna organizacja byłych oficerów SS – Odessa – Organisation der Ehemaligen SS-Angehörigen. Mosad był przekonany, że ostatnim południowoamerykańskim etapem używanego przez Odessę szlaku przerzutowego jest Buenos Aires. W maju 1960 r.