Po śmierci pierwszej żony, ożenił się z Margarethe Hainhauer, z którą miał trzech synów Willy'ego, Erna i Rudolfa (1896–1958) i córkę Ernę (1891–1964). Jego funkcję zarządcy (wespół z wujem) przejął syn Hugon, który pracował na tym stanowisku do śmierci w 1932 roku. Sukcesję po nim przejął najmłodszy syn Louisa, Rudolf. W tym samym okresie firma popadła w kłopoty finansowe, częściowo w wyniku wielkiego kryzysu, jaki uderzył w gospodarkę Niemiec. Firma została wykupiona przez zamożnego żydowskiego przedsiębiorcy, ale kamienica została w rękach rodziny Cohn. Rudolf pozostał na stanowisku managera domu handlowego Trautner.
W 1937 roku w nazistowskich Niemczech wprowadzono program aryzacji: żaden nie-aryjczyk (żyd) nie mógł zarządzać aryjczykiem. Według wspomnień Wanera Maxa Cordena sytuację te wykorzystał fabrykant Paul Grzesiak i na mocy prawa przejął zarządzaniem firmą i domem handlowym. Według dzienników Willy'ego Cohna Grzesiak już w styczniu 1934 roku wynajął pomieszczenia w kamienicy, a pierwsze próby jej wykupu podjął w 1936 roku. Rudolf Cohn stracił pracę co ostatecznie zmusiło go do emigracji do Australii.