Wzrostowi jej popularności towarzyszyła nasilona kontrola medialna oraz kontrowersje w latach 2015–2016, które nadszarpnęły jej wizerunek. Krytycy zarzucali jej, że prezentowany przez nią feminizm oraz grono zaprzyjaźnionych celebrytek – w tym modelek, aktorek i piosenkarek – ma elitarny charakter; jej związki z Calvinem Harrisem i Tomem Hiddlestonem określano jako zabiegi PR-owe; a jej polityczną neutralność interpretowano jako sprzyjanie ruchowi alt-right. Punktem kulminacyjnym był jej konflikt z raperem Kanye Westem i celebrytką Kim Kardashian dotyczący utworu Westa „Famous”, w którym twierdzi on, że to on uczynił Swift sławną („I made that bitch famous”, po polsku: „Uczyniłem tę sukę sławną”). Swift utrzymywała, że nigdy nie wyraziła zgody na ten wers, jednak Kardashian opublikowała nagranie rozmowy telefonicznej, w którym Swift zgadza się na inną część piosenki.
Choć później ujawniono, że rozmowa została celowo zmontowana, gdy w 2020 roku wyciekł jej pełny zapis, incydent ten sprawił, że medialny wizerunek Swift zmienił się w obraz osoby fałszywej i wyrachowanej. Na Twitterze stała się bohaterką hashtagu „IsOverParty”, gdzie krytycy nazywali ją „wężem”.