XIX wiek 7 marca 1803 roku Aleksander I nakazał budowę umocnień. 13 czerwca 1803 rozpoczęto budowę, a po pięciu miesiącach, 10 października zakończono prace. Fortyfikacja „Kwaśne wody” (ros. Кислые воды, Kisłyje wody) weszła w skład Azowsko-Mozdockiej linii obronnej. Została ona wzniesiona na wzgórzu pomiędzy rzeczkami Olchowką i Bieriozową. Otoczona suchą fosą twierdza miała kształt gwiazdy z trzema ostrymi kątami i dwiema półokrągłymi basztami, na których rozmieszono działa. Fortyfikacja została połączona z rzeką tunelem, co mogło zapewnić dostęp do wody w razie przedłużającego się oblężenia. W twierdzy zazwyczaj stacjonowały dwie kompanie żołnierzy, ale w lecie garnizon powiększano.
thumb|left|300px|Twierdza Kisłowodzk w drugiej połowie XIX wieku Kilka lat później (około 1812 roku) pospiesznie wzniesiona twierdza przeszła gruntowną przebudowę. Powstały kamienne domy dla starszych oficerów i gości honorowych, a także wybudowano wysokie kamienne mury z otworami strzelniczymi i wieżami narożnymiHistoria Kisłowodzka..
Pierwszymi osadnikami w okolicy byli żołnierze, którzy zakończyli swoją służbę w twierdzy.