W związku z reorganizacją Sztabu Obrony jesienią 1961 r. agencja B została odłączona od Ministerstwa Spraw Wewnętrznych i otrzymała samodzielne stanowisko. Departament Spraw Zagranicznych został przemianowany na Departament Wywiadu. Ministerstwo Spraw Wewnętrznych zostało zreorganizowane w Departament Bezpieczeństwa dopiero w 1965 roku. Uznano, że wywiad wojskowy i służby bezpieczeństwa powinny być ściślej powiązane i zgodnie z Ustawą 1965:66, działalność Biura T i Biura B została połączona. Nowa organizacja otrzymała nazwę IB i podlegała Szefowi Sztabu Obrony. Szefem IB został Birger Elmér. W 1970 roku działalność kontrwywiadowcza prowadzona przez IB została czasowo wstrzymana. Wznowiono ją w latach 1971–1973.
Sztab Obrony został zreorganizowany w 1981 roku. Sekcja 2 została przemianowana na Sekcję Operacyjną 5 (szw. Operationssektion 5, Op 5), która była częścią kierownictwa operacyjnego. Główna zmiana organizacyjna polegała na tym, że armia, marynarka wojenna i siły powietrzne zostały pozbawione wywiadów. Zostały one przeniesione do Op 5.