Od najwcześniejszych lat Spitalfields było znaczącym ośrodkiem osadnictwa imigrantów. Po wydaniu we Francji w 1685 roku edyktu z Fontainebleau schronienia szukali tu hugenoci, uciekający przed prześladowaniami religijnymi w ich ojczystym kraju. Już wcześniej funkcjonowała tu społeczność francuska. Za jej sprawą rozwinęło się tu włókiennictwo. W XVIII wieku Spitalfields słynęło z produkcji jedwabnych tkanin.
Na początku XIX wieku Spitalfields było dzielnicą biedy, zamieszkaną przez ponad 15 000 osób. W połowie XIX wieku powstałe tu slumsy wyburzono, a założona przez George′a Peabody′ego fundacja wkrótce podjęła się budowy domów dla ubogich, mających zapewnić im przyzwoite warunki mieszkaniowe. W tym samym czasie odnotowano napływ imigrantów z Irlandii, którzy opuścili kraj w związku z klęską głodu. Po 1880 roku powstała tu duża społeczność żydowska, stworzona przed uchodźców z Imperium Rosyjskiego, w związku z przeprowadzanymi tam pogromami. Spitalfields było jednym z największych skupisk ludności żydowskiej w ówczesnej Europie i zyskało miano „małej Jerozolimy” (). W połowie XX wieku wielu mieszkających tu Żydów przeniosło się do innych dzielnic północnego i wschodniego Londynu. Wkrótce, począwszy od lat 60.