Pod koniec 1983 roku z grania w Black Flag zrezygnował Dukowski. Ginn twierdzi, że lubił Dukowskiego i nigdy nic do niego nie miał, ale w jego grze było brak postępu. Dukowski po zaprzestaniu grania został ich tour menedżerem. Na jego miejsce do zespołu dołączyła Kira Roessler, ale zanim tak się stało to w niektórych nagraniach zespołu partie basowe zagrał Ginn (utwory z płyty My War). Roessler do swojej gry podchodziła bardzo ambitnie i była chyba najlepszym basistą jaki przytrafił się zespołowi od samego początku. Z Roessler w składzie Black Flag zaczął eksperymentować z muzyką, czasami narażając się na ostrą krytykę dziennikarzy, a nawet i fanów.
W 1984 Black Flag nagrał i wydał cztery albumy – w tym trzy studyjne: My War, Family Man i Slip It In. Płyty Slip It In i My War tuż po wydaniu zostały skrytykowane w prasie i zebrały negatywne recenzje. Jednakże kilka lat później, na fali rozwoju grunge'u My War zostało uznane za album, który miał ogromny wpływ na artystów z tego kręgu. W ciągu całego 1984 roku zespół zagrał 178 koncertów. Jeden z nich, który odbył się 26 sierpnia w klubie „The Stone” w San Francisco został nagrany i wydany na płycie pt. Live ’84.