Swift poprosiła Liz Rose, która była współautorką piosenek na jej pierwszych albumach, o pomoc przy pisaniu „All Too Well”. Rose przyznała, że była to niespodziewana współpraca, jako że nie pracowały ze sobą od kilku lat – po raz ostatni współpracowały przy albumie Fearless z 2008 roku. Gdy Rose zgodziła się na współpracę, wspominała, że Swift miała już gotową melodię. W wywiadzie dla programu Good Morning America Swift wyznała, że była to „najtrudniejsza do napisania piosenka na albumie”, dodając, że potrzebowała trochę czasu, aby z pomocą Rose „przefiltrować wszystko, co chciała w niej zawrzeć”, bez nadmiernego jej wydłużania. Rose wspomniała, że przed skróceniem piosenka miała pierwotnie „10, 12 lub 15 minut” lub „prawdopodobnie była utworem 20-minutowym”. Ostateczna wersja albumowa trwa 5 minut i 28 sekund, będąc najdłuższym utworem na Red. Za produkcję odpowiadali Swift i Nathan Chapman.