Inwestował również w cukrownię w Tursku i wybudował tam młyn parowy. Niedopilnowane i źle zarządzane przedsiębiorstwa pochłonęły duże sumy i naruszyły kondycję finansową Geyera.
Deficytowe inwestycje, pożar fabryki w roku 1853 oraz wstrzymanie pożyczek w 1854 okazały się nie do udźwignięcia przez fabrykanta. Sytuację pogarszało to, że Geyer tracąc płynność finansową oszczędzał na asekuracji budynków, maszyn i towarów, co z kolei powodowało brak zabezpieczeń dla banku, a gdy w 1855 roku Karol Scheibler uruchomił ogromną przędzalnię, Ludwik Geyer nie miał już zasobów na równorzędną walkę konkurencyjną. Wówczas rozpoczęła się wyprzedaż majątku: najpierw sprzedał posiadłości w Rudzie Pabianickiej i niezabudowane place przy Piotrkowskiej, a w 1860 roku Bankowi Polskiemu (za 480 tys. złotych polskich) część parceli przy Piotrkowskiej 286 wraz z zabudowaniami, w których bank umiejscowił kantor i magazyny. Jednocześnie fabrykant rozebrał kilka budynków przy Piotrkowskiej 284, a produkcję skoncentrował na posesji pod numerem 303–305. W miejscu po rozebranych budynkach powstał ogród spacerowy (współcześnie Park im. Władysława Stanisława Reymonta). W 1861 roku Geyer przeprowadził się do jednopiętrowego domu przy Piotrkowskiej 295–299.