Podczas występu Florence and the Machine na Brit Awards 2010 grupa wykonała wraz z gościnnym udziałem brytyjskiego rapera Dizzee Rascala nową wersję tego singla zatytułowaną „You Got the Dirtee Love”, która zadebiutowała na drugiej pozycji na liście UK Singles Chart. Następnymi singlami były „Cosmic Love” i „Heavy in Your Arms”.
23 sierpnia 2011 roku ukazał się singel „What the Water Gave Me”, który promował drugi album studyjny grupy, Ceremonials. Album zadebiutował na pierwszym miejscu w Australii, Irlandii, Nowej Zelandii oraz Wielkiej Brytanii. Dobrze radził sobie również w Polsce, gdzie dotarł do drugiego miejsca na liście OLiS oraz zdobył status platynowej płyty. Kolejnymi singlami z płyty były „Shake It Out”, „No Light, No Light”, „Never Let Me Go”, „Spectrum (Say My Name)” oraz „Breaking Down”. 17 kwietnia 2012 roku Florence and the Machine wydali swój drugi album koncertowy zatytułowany MTV Unplugged, który uzyskał status złotej płyty w Polsce. Również w tym samym roku ukazał się utwór „Breath of Life”, który promował film pt. Królewna Śnieżka i Łowca w reżyserii Ruperta Sandersa.