W 1840 roku Geyer wystawił jednopiętrowy murowany budynek fabryczny kryty gontem, który na parterze miał jedną, a na piętrze dwie izby. W latach 40. XIX wieku na parterze mieściła się blacharnia, tokarnia i ślusarnia, a na piętrze warsztaty stolarskie. Budynek był wykorzystywany na bale karnawałowe, przyjęcia oraz przedstawienia i nosił nazwę „domu zabaw”.
W latach czterdziestych kompleks fabryczny rozwijał się nadal szybko – liczba wrzecion wzrosła do 20 384, a moc maszyn parowych do 120 KM. Zatrudniała około 700 robotników. W 1843 roku, również na posesji przy Piotrkowskiej 286, Geyer wybudował drugi dom mieszkalny (zwany pierwszym w Łodzi pałacem) przy narożniku ulicy Piotrkowskiej oraz Górnego Rynku, do którego przeprowadził się rok później. W 1847 roku nastąpiła dalsza rozbudowa kompleksu: przy dwupiętrowym budynku po Rundzieherze wybudowane zostały dwa pawilony oraz przystawki przeznaczone na krochmalnię i farbiarnię, a w jednej z przystawek została zamontowana druga maszyna parowa. Rok później dobudowano kolejny trzypiętrowy pawilon do „Białej Fabryki”. 21 grudnia 1853 roku przy Piotrkowskiej 303, gdzie znajdowała się w dwupiętrowym budynku tkalnia kamlotów, drukarnia, farbiarnia i blich, wybuchł pożar.