W 1969 roku odszedł z Black Sabbath na dwa tygodnie i przyłączył się do Jethro Tull, lecz potem wrócił, gdyż muzyka tamtego zespołu nie była stricte gitarowa. Zdążył jednak wziąć udział razem z Jethro Tull w projekcie grupy The Rolling Stones pod nazwą „Rock’n’Roll Circus” obok między innymi Johna Lennona i The Who. Po powrocie do Black Sabbath skupił się na tworzeniu materiału na pierwszą płytę tej grupy. W skład oprócz Iommiego wchodzili John ‘Ozzy’ Osbourne (wokal), Terry ‘Geezer’ Butler (gitara basowa) i Bill Ward (perkusja). Był jej jedynym członkiem, który przetrwał wszystkie zmiany zachodzące w składzie zespołu. Jest autorem wszystkich najbardziej znanych riffów gitarowych, z jakich zasłynął zespół Black Sabbath, m.in. „Paranoid”, „Iron Man”, „War Pigs”, „Children of the Grave” i „Sabbath Bloody Sabbath”. W ramach zespołu współpracował z wieloma wokalistami rockowymi, m.in. takimi jak Ronnie James Dio, Ian Gillan, Glenn Hughes, Tony Martin czy Rob Halford.
W 1985 roku postanowił nagrać solową płytę, która jednak ze względów kontraktowych pojawiła się na rynku pod szyldem Black Sabbath featuring Tony Iommi na początku 1986 roku, pod tytułem Seventh Star.