Z czasem jednak Anastasia zyskał przydomek „Szalonego Kapelusznika” – dzięki swej brutalności i kapeluszowi z piórkiem, który zawsze nosił. Anastasia stał się zbyt ambitny i zbyt niebezpieczny dla Luciana, który w porozumieniu z Meyerem Lanskym i Frankiem Costellem zlecił zamordowanie „Szalonego Kapelusznika”.
Anastasia pozostał bossem rodziny do 25 października 1957, kiedy zastrzelono go w salonie fryzjerskim na rogu 56 ulicy i 7 Alei w Nowym Jorku.
Wedle szacunków Korporacja Morderców (wcześniej Murder, Inc. – rozwiązana po roku 1941 w związku ze zdradą Abe’a Relesa), którą współtworzył, zabiła w czasie swego istnienia od 400 do nawet 500 ludzi. Przez rozgłos, jaki Anastasia nadał rodzinie Gambino, wymiar sprawiedliwości zaczął się jej przyglądać bliżej, co było nie na rękę głównodowodzącym amerykańską cosa nostrą.