Prawdziwą klęską dla Geyera był jednak wybuch wojny secesyjnej w 1861 roku. Wynikły z zahamowania wywozu bawełny ze Stanów Zjednoczonych do Europy głód bawełniany, mogli przetrwać tylko przedsiębiorcy o ustabilizowanej pozycji finansowej. Do takich nie należał już Ludwik Geyer. Jego kłopoty pogłębiła jeszcze skłonność do działalności spekulacyjnej. Wykorzystując fakt występującego, na początku sześćdziesiątych lat XIX wieku, niedoboru monety zdawkowej w Królestwie, fabrykanci wydawali robotnikom tak zwane bony. Fabryka gwarantowała ich wartość i wykup. Geyer mając kłopoty finansowe wydał ogromne ilości bonów (na kwotę kilkudziesięciu tysięcy rubli). Kupcy, znając sytuację przedsiębiorcy, odmawiali honorowania bonów Geyera w ich nominalnej wartości, bojąc się (nie bez racji) że nie zostaną przez fabrykanta odkupione.