Telewizyjna stacja MTV stwierdziła, że „What the Hell” ze swoją energią oraz gorącą atmosferą jest bardzo podobny do innego hitu Lavigne, „Girlfriend”. Jody Rosen z Rolling Stone przyznał piosence 3.5 na 5 gwiazdek i nazwał ją jedną z najszybciej wpadających piosenek Avril. Idolator określił utwór jako „bardzo przyjemny w słuchaniu” i nazwał go „królem każdego iPoda”Avril Lavigne Raises “What The Hell” On New Year’s Eve | Music News, Reviews, and Gossip on Idolator.com.. Nick Levine z Digital Spy odznaczył „What the Hell” 5 na 5 gwiazdek, chwaląc głównie refren. Tak jak stacja MTV zauważył jego podobieństwo do „Girlfriend”, uznając go przy tym „nieco słabszą wersją”. Bill Lamb z About.com pochwalił utwór, za niezwykle ożywiony rytm, który przypominana brzmienie z albumu The Best Damn Thing. Stereoboard.com zasugerował, że „kawałek jest momentami mocno denerwujący”, stwierdzając przy tym, że „What the Hell” przypomina starą, kochaną Avril Lavigne, z charakterystycznym dla siebie, pop-rockowym rytmem.
Teledysk Wideo promujące pierwszy singel z albumu Goodbye Lullaby zostało nakręcone w grudniu 2010, przez 3 dni. Jego reżyserem był Marcus RaboyAbc Family To Present The U.S Debutof Avril Lavigne’S New Music Video „What The Hell” | The Official Avril Lavigne Site..