Był kierownikiem działu w Instytucie Matematyki Stosowanej Radzieckiej Akademii Nauk od 1965 do 1983 roku.
Badania w dziedzinie astrofizyki i kosmologii thumb|150px|Zeldowicz (po prawej) z astrofizykiem Iosifem Szkłowskim w 1977 We wczesnych latach sześćdziesiątych zaczął prace dotyczące astrofizyki i kosmologii. W 1964, niezależnie od Edwina Salpetera, jako pierwszy zasugerował, że dyski akrecyjne wokół masywnych czarnych dziur są odpowiedzialne za emisje ogromnych ilości energii przez kwazary.Suzy Collin, Quasars and Galactic Nuclei, a Half-Century Agitated Story, 2006 Od 1965 profesor w Departamencie Fizyki Uniwersytetu Moskiewskiego i kierownik działu ogólnej teorii względności astrofizyki w Instytucie Astronomicznym Sternberga.
Zeldowicz pracował nad teorią ewolucji gorącego Wszechświata, własnościami kosmicznego promieniowania tła, wielkoskalowymi strukturami Wszechświata i teorią czarnych dziur. Wraz z Raszydem Siuniajewem przewidział, że fotony kosmicznego promieniowania tła powinny ulegać odwrotnemu zjawisku Comptona. Zjawisko to, znane dziś jako efekt Siuniajewa-Zeldowicza, i jego pomiary są obecnie (2005) jednym z największych obserwacyjnych wyzwań kosmologii.