Jedna z legend miejskich mówi, że gdy Napoleon przejeżdżał na koniu przez Kłodzko, spadła mu z głowy czapka, a w miejscu, gdzie upadła, Prusacy ufundowali obelisk kamienny z wyraźnie wytłoczoną czapką. Stoi on do dzisiaj i miał być uważany przez Prusaków za znak, który przepowiadał upadek cesarza. W rzeczywistości Napoleon nie maszerował przez Kłodzko (prowadził wtedy kampanię na Pomorzu i w Prusach Wschodnich), a w czasie kapitulacji twierdzy dowodził w bitwie pod Frydlandem. Kamień jest pomnikiem upamiętniającym niemieckie zdobycze terytorialne w Afryce, przy czym kapelusz jest tropikalnym nakryciem głowy niemieckich wojsk kolonialnych. Pomnik odsłonięto 19 września 1937 roku z inicjatywy miejscowej sekcji . Zatarty dziś napis na kamieniu głosił: Gedenkt unserer Kolonien ().
W roku 1867 rząd pruski zdecydował o rozbrojeniu twierdzy jako przestarzałej (podobna sytuacja miała miejsce w twierdzy srebrnogórskiej).