Bunt wobec tradycji kompozytor tak wyraził w jednym z późniejszych listów: Moje ścisłe klasyczne przygotowanie na nic mi się nie przydało. Idee muzyczne rodziły niejako swe własne techniki, tak że sam przyłapałem się na stosowaniu klasterów dla koniecznych efektów perkusyjnych, wychodząc naprzeciw głębszej potrzebie osiągnięcia głęboko ukrytej jakości, która tak bardzo intrygowała mnie w dociekaniach nad człowiekiem prehistorycznym (fragm. listu do G. Chase'a z 28 VII 1963).
W latach 20. XX wieku opuścił Nowy Jork i przeniósł się do Filadelfii, gdzie rozpoczął pracę w Philadelphia Musical Academy. Wówczas dokonał także nagrań wybranych dzieł Chopina, Schumanna i Liszta, jednak nigdy nie utrwalał swych własnych kompozycji. Przez cały czas również koncertował.
We wczesnych latach 30. XX wieku Ornstein zrezygnował z koncertów i wraz ze swą żoną Pauline Mallet-Prèvost założył Ornstein School of Music w Filadelfii, którą kierował do roku 1953.
W 1975 otrzymał nagrodę National Institute of Arts and Letters.
Ornstein komponował niemal przez całe swoje długie życie - ostatni wydany utwór został przez niego napisany w roku 1990, gdy miał 97 lat (była to ósma sonata fortepianowa). Żył 108 lat.