Geografia thumb|Widok na łańcuch Himalajów Centrum miasta położone jest na grzbiecie łączącym góry Deolo i Durpin (Dubindra). Leży ono na wysokości 1247 m n.p.m. Deolo, najwyższy punkt na terenie Kalimpong, znajduje się na wysokości 1704 metrów, a Durpin – na wysokości 1372 metrów. Przez leżącą poniżej dolinę przepływa rzeka Teesta, oddzielając miasto od stanu Sikkim. Podobnie jak większość himalajskich szczytów, wzgórza Siwalik posiadają strome stoki i delikatną, luźną górną warstwę gleby, co prowadzi do częstych osuwisk w czasie monsunów. Są one otoczone przez wyższe szczyty, a ośnieżone łańcuchy Himalajów górują w oddali nad miastem. Z Kalimpong można zobaczyć Kanczendzongę, trzecią pod względem wysokości górę świata (8591 m / 28185 stóp n.p.m.).
Kalimpong ma pięć różnych pór roku: wiosna, lato, jesień, zima oraz monsun. Lato trwa od maja do czerwca, jest łagodne, temperatury wynoszą zwykle 30°C. Po lecie następuje monsun, który trwa od czerwca do września. Występują wtedy obfite deszcze, często powodujące lawiny, które oddzielają miasto od reszty kraju. Zima trwa od grudnia do lutego, z maksymalną temperaturą około 15 °C. Podczas monsunu i zimy Kalimpong często zasnuwają mgły.