Tło i wydanie mały|223x223px|Swift (na zdjęciu w 2012) zaczęła pisać piosenkę podczas prób do trasy Speak Now World Tour w lutym 2011 Taylor Swift szukała inspiracji w swoich burzliwych emocjach po rozstaniu, gdy pracowała nad koncepcją swojego czwartego albumu studyjnego, Red (2012). „All Too Well” było pierwszą piosenką, którą napisała na tę płytę. Podczas próby przed trasą koncertową Speak Now World Tour w lutym 2011 roku, zaczęła improwizować tekst do utworu, grając na gitarze czterodźwiękowy riff, podczas gdy jej zespół koncertowy spontanicznie dołączał się na instrumentach akompaniujących. Swift wyznała magazynowi Rolling Stone, że ten związek przyniósł „kilka emocjonalnych rollercoasterów”, a ona przelała ten zamęt do piosenki. W rozmowie z The New York Times opisała ten improwizowany występ jako „bardzo emocjonalny wywód”. Wspominała, że była wtedy tak smutna, iż miała poczucie, że „smutek jest tobą, a ty jesteś smutkiem”.