W 1951 roku Williams przeżył swój pierwszy udar mózgu. Od tego czasu zdrowie poety (wcześniej doświadczonego już przez dwa ataki serca) zaczęło drastycznie się pogarszać. Te poważne komplikacje nie przyniosły jednak kresu jego pisaniu, w przeciwieństwie do praktyki lekarskiej, której wtedy zaniechał. Mimo kolejnego udaru (1952) oraz poważnej depresji (1953) wciąż wydawał nowe tomy wierszy. Z okresu rekonwalescencji pochodzą jedne z jego wybitniejszych zbiorów: The Desert Music (1954) oraz Journey to Love (1955), zawierający słynny poemat To Asphodel.
Najcięższy w życiu pisarza udar mózgu miał miejsce w roku 1955. Williams został częściowo sparaliżowany, musiał ponownie nauczyć się mówić i pisać. Nie odzyskał jednak pełnej sprawności. Niemniej, udało mu się wtedy napisać m.in. biografię swojej matki (Yes, Mrs. Williams, 1959), oraz kilka sztuk teatralnych. Ostatni tom poezji, Pictures from Brueghel and Other Poems, wydano rok przed śmiercią autora, w 1962 roku.