Znany jako „bohater konfesjonału”, ojciec Carmine dotykał życia seminarzystów, księży, biskupów i osób świeckich, oferując pocieszenie i przewodnictwo nawet w ostatnich dniach.
Don Carmine był szczególnie oddany Eucharystii, Maryi Dziewicy, świętemu Mikołajowi i świętemu Benedyktowi. Jego pokora sprawiła, że nie publikował swoich pism, pomimo ich wielkiego bogactwa duchowego i kulturowego. Jednak jego spuścizna żyje dalej poprzez tych, którzy skorzystali z jego opieki duchowej, w tym postaci świętości, takie jak prof. Giovanni Modugno i błogosławiony Eliasz z San Clemente.
W lutym 1961 roku po raz ostatni publicznie przewodniczył eucharystii. Odtąd, z powodu osłabienia, mógł odprawiać Msze św. tylko w swoim pokoju, gdzie nadal służył spowiedzią. Zmarł 24 sierpnia 1961 roku w Bari z powodu niewydolności serca. Po pogrzebie, odprawionym w bazylice San Nicola przez ks. prałata Michele Mincuzziego, wikariusza generalnego diecezji Bari, jego szczątki złożono w kaplicy kapituły San Nicola na cmentarzu w Bari. Chciał, aby na nagrobku widniał jedynie napis: „Carmelus De Palma, sacerdos Christi” („Carmine De Palma, kapłan Chrystusa”).