Znajdujący się na rzece Wdzie most po raz pierwszy został zbudowany w latach 1962–1963 za 443 tys. zł zebranych w dużej części w czynie społecznym przez mieszkańców wsi, również w tych latach wieś otrzymała sklep oraz została zelektryfikowana.
Zimne Zdroje były wsią królewska, następnie przynależną do starostwa borzechowskiego. W latach „potopu szwedzkiego” całkowicie zniszczona i wyludniona. W 1667 roku sprowadzili się tu nowi osadnicy z centralnej Polski i Niemiec. We wsi istniała karczma oraz młyn wodny stojący nad Wdą na wschód od wsi, po lewej stronie rzeki. Należał do Jana Dębińskiego, a na początku XX wieku kupił go Maksymilian Prill. Za czasów pruskich wieś nosiła nazwę, Kaltenborg, za czasów niemieckich i hitlerowskich Kaltsprig. W latach międzywojennych projektowano w Zimnych Zdrojach zbudować zaporę wodną i elektrownię. Latem 1942 roku we wsi wybuchł groźny pożar, który strawił 8 domów. W pobliskich lasach działały oddziały partyzanckie. W 1895 roku prusacy postawili nowy murowany budynek szkolny. W listopadzie 1906 roku wybuchł w szkole strajk, uczyło się wówczas w niej 55 dzieci. Niemiecki nauczyciel nie stosował wobec strajkujących dzieci kar cielesnych, jak to bywało w innych sąsiednich szkołach powiatu starogardzkiego.