Rozmieszczenie geograficzne Kasztanowiec pospolity jest jedynym europejskim przedstawicielem swego rodzaju i jego współczesny zasięg ma charakter reliktowy. Gatunek był rozpowszechniony na kontynencie we wczesnym plejstocenie ok. miliona lat temu, ale przetrwał tylko w trzech izolowanych obszarach na Półwyspie Bałkańskim. Ze względu na rolę jaką mogli pełnić wielcy roślinożercy dla rozprzestrzeniania dużych nasion tego gatunku, za jedną z możliwych przyczyn znaczącego ograniczenia areału w plejstocenie uznaje się wymarcie w tym czasie megafauny. Główny obszar naturalnego występowania tego gatunku współcześnie, to góry Pindos w północno-zachodniej i środkowej Grecji (Epir-Macedonia Zachodnia i Tesalia-Grecja Środkowa), w południowej Albanii i Macedonii Północnej. Drugi obszar położony jest w rejonie góry Osa na wschodnim wybrzeżu Tesalii w Grecji. Trzeci we wschodniej części Starej Płaniny we wschodniej Bułgarii, gdzie w rejonie Presławskiego Bałkana rośnie znaczna liczba drzew i w dużym zagęszczeniu. W Grecji znanych jest w sumie około 100 stanowisk tego gatunku, ale rośnie na nich nie więcej jak 1,5 tysiąca drzew łącznie. W południowej Albanii rośnie poniżej 500 drzew, przy czym na żadnym ze stanowisk nie ma ich więcej niż 50. Poza południem kraju rośnie w dwóch miejscach na wschodzie kraju i jednym na północy.