Po traktacie brzeskim Ioffe od marca do listopada 1918 reprezentował RFSRR w Berlinie jako ambasador. Oprócz normalnych obowiązków dyplomatycznych uczestniczył w organizacji rewolucji komunistycznej w Cesarstwie Niemieckim. Brał udział w rokowaniach z Polską w Rydze w czasie wojny polsko-bolszewickiej, w których następstwie podpisano w październiku 1920 zawieszenie broni w wojnie, a następnie 18 marca 1921 traktat pokojowy. Przez polską delegację zapamiętany został jako godny i inteligentny przeciwnik. Udział wziął również w negocjowaniu traktatu pokojowego z Estonią (2 lutego 1920 w Tartu) i traktatu pokojowego z Łotwą (11 sierpnia 1920 w Rydze). W latach 1922–1925 był ambasadorem ZSRR w Chinach i Austrii.
Od 1926 zajmował się pracą naukową.
W konflikcie między Trockim i Stalinem wziął stronę tego pierwszego. Po zdymisjonowaniu Trockiego z funkcji partyjnych Ioffe, trapiony chorobą (neuropatią obwodową), załamany nagonką antytrockistowską, po odmowie zgody na wyjazd zagraniczny dla przeprowadzenia leczenia, popełnił samobójstwo. Wdowa po nim, Maria, została zesłana.