W średniowiecznym dokumencie z roku 1311 wymieniona jest jako Kyczdorf, a Kaczindorf w roku 1412.Stanisław Jastrzębski, "Jawor i okolice", Ossolineum Wrocław 1973, str. 122. W roku 1750 nazwa „Kaczor” wymieniona jest w języku polskim przez Fryderyka II pośród innych śląskich miejscowości w zarządzeniu urzędowym wydanym dla mieszkańców Śląska„Wznowione powszechne taxae-stolae sporządzenie, Dla samowładnego Xięstwa Sląska, Podług ktorego tak Auszpurskiey Konfessyi iak Katoliccy Fararze, Kaznodzieie i Kuratusowie Zachowywać się powinni. Sub Dato z Berlina, d. 8. Augusti 1750”..

Historia W latach 1471–1529 pozostawała w rękach rodziny von Zedlitz. W roku 1748 wybudowano ewangelicki dom modlitwy, który nabożeństwa odbywały się do końca II wojny światowej.

15 sierpnia 1896 otworzono we wsi stację kolejową (peron o długości 140 m). 1 października 1932 Kaczorów został włączony do powiatu jeleniogórskiego. Przed rokiem 1945 wioska była znanym miejscem wypoczynkowym – w roku 1937 istniało tutaj 7 zajazdów i moteli (64 miejsca noclegowe) oraz 15 kwater prywatnych (56 miejsc noclegowych).

W roku 1945 wieś została włączona do Polski. Jej dotychczasowych mieszkańców wysiedlono do Niemiec. Pod koniec lat 90. XX wieku zamknięta została linia kolejowa przechodząca przez wieś.