Życiorys Feldman urodził się w Nowym Jorku w rodzinie emigrantów aszkenazyjskich z Kijowa. Jego ojciec szył płaszcze dziecięce. Jako dziecko Feldman pobierał lekcje gry na fortepianie u Very Mauriny Press, prywatnej nauczycielki muzyki z Nowego Jorku. Jak później mówił, jego nauczycielka wpoiła mu „nie tyle znajomość rzemiosła muzycznego, ile żywą muzykalność”. Pierwszym nauczycielem Feldmana uczącym go kompozycji był Wallingford Riegger, jeden z pierwszych amerykańskich zwolenników Arnolda Schönberga oraz Stefan Wolpe, kompozytor pochodzenia niemiecko-żydowskiego, który pobierał lekcje od Franza Schrekera i Antona Weberna. Większość lekcji Feldmana i Wolpego polegała jedynie na ich wzajemnych rozmowach o muzyce i sztuce.
Na początku 1950 roku Feldman poszedł do New York Philharmonic na występ, którego program obejmował m.in. Symfonię Antona Weberna, op. 21. Po wykonaniu tego utworu, orkiestra miała zagrać utwór Siergieja Rachmaninowa, ale Feldman wyszedł tuż przed jego wykonaniem, przytłoczony pracą Weberna. W holu spotkał Johna Cage’a, który również zjawił się na koncercie i wychodził teraz dokładnie z tego samego powodu. Kompozytorzy szybko stali się dobrymi przyjaciółmi, na znak czego Feldman przeprowadził się na trzecie piętro budynku, w którym mieszkał Cage.