W XX wieku zamożni mieszkańcy Nowego Jorku zaczęli przeprowadzać się w okolice Piątej Alei, ale w jej górną część, głównie na ulice od 59. do 96., skąd widok obejmuje Central Park.

Kamieniem milowym dla Piątej Alei okazał się rok 1916, kiedy została wyburzona ogromna posiadłość na rogu 72. ulicy. W jej miejscu wybudowano apartamentowiec 907 Fifth Avenue, pierwszy budynek tego typu na świecie.

W styczniu 1922 władze miasta zareagowały na zażalenia mieszkańców dotyczące wyburzania kolejnych domów na Piątej Alei i zaostrzyły przepisy dotyczące wysokości, ustanawiając maksymalną wielkość do 75 stóp, czyli około 5-piętrowych obiektówJ. E. R. Carpenter, "The Architect Who Shaped Upper Fifth Avenue", New York Times, 26 sierpnia 2007. . Architekt J.E.R. Carpenter wniósł do sądu pozew przeciw tej decyzji i wygrał, przez co ponownie zmieniono przepisy. Carpenter argumentował następująco: „standard alei zostałby bardzo podniesiony, gdyby luksusowe apartamentowce zastąpiły stare posiadłości.”