Po wojnie podjął (z pomocą teścia) pracę w przedsiębiorstwie tekstylnym. Równocześnie obracał się w nowojorskim środowisku artystycznym, zaczął tworzyć własną kolekcję sztuki oraz okazjonalnie sprzedawać obrazy. Nie próbował reprezentować uznanych twórców, w tym przedstawicieli popularnego wówczas ekspresjonizmu abstrakcyjnego, lecz starał się odkrywać artystów szerzej nieznanych i pomagać im rozwijać talent. W 1954 roku Castelli po raz pierwszy zobaczył prace Roberta Rauschenberga, a następnie Jaspera Johnsa, który mieszkał w tym samym budynku.
W 1957 roku otworzył własną galerię zlokalizowaną na 4 East 77th Street na Manhattanie. Pierwsza wystawa składała się z prac takich twórców jak Robert Delaunay, Alberto Giacometti, Fernand Léger, Piet Mondrian, Willem de Kooning, Jackson Pollock oraz David Smith.
Kierunek w którym podążał Castelli pokazała, zorganizowana w 1958 roku, indywidualna wystawa prac Jaspera Johnsa. Reprezentował on także Roberta Rauschenberga, a także, od 1960 roku Franka Stellę. W 1964 roku, gdy Rauschenberg, jako pierwszy Amerykanin, otrzymał nagrodę główną na Biennale w Wenecji, galeria Castelliego uzyskała międzynarodowe uznanie.