Wiosną 1982 zespół wydał drugą płytę, The Anvil. Tytuł albumu został zaczerpnięty z nazwy popularnego wówczas klubu gejowskiego, znajdującego się w Nowym Jorku. Promujące wydawnictwo single „The Damned Don’t Cry” i „Night Train” były kolejnymi przebojami w Wielkiej Brytanii, jednak nie osiągnęły sukcesu na skalę międzynarodową. Album także zdobył znaczącą popularność tylko na rynku brytyjskim, gdzie wszedł do pierwszej dziesiątki listy sprzedaży i został certyfikowany jako srebrny. Krótko po sukcesie The Anvil Midge Ure opuścił zespół by skupić się na pracy w zespole Ultravox, który zaczął wówczas zdobywać jeszcze większą popularność niż Visage. W okrojonym składzie grupa wydała singel „Pleasure Boys” jesienią 1982, jednak nagranie zdobyło tylko średnią popularność. W 1983 roku wytwórnia Polydor wydała składankę Fade to Grey – The Singles Collection, która dotarła do 38. miejsca w Wielkiej Brytanii i zdobyła certyfikat złotej.