Obsługująca go młynówka stanowiła na pewnym odcinku granicę między miastem a przedmieściem, jej przebieg kopiuje także współczesna granica obrębów ewidencyjnychPortal mapowy Urzędu Miejskiego w Bielsku-Białej z warstwą obrębów ewidencyjnych.
Młyn lipnicki, jak nazywany jest w źródłach, stanowił początkowo własność królewską i był oddawany miejscowym młynarzom w dzierżawę. W latach 1606–1669 prowadziło go kilka pokoleń rodziny Janowskich, po czym na kolejne ponad sto lat przeszedł w ręce rodziny Łukowiczów. Z przełomu XVIII i XIX wieku znane są nazwiska kolejnych zarządców bądź prywatnych już właścicieli: Jakub Dziech, Maciej Wojciechowski, Benjamin Winkler, August Winkler, Robert Kolbenheyer. Ten ostatni nabył nieruchomość w 1861 i w kolejnych latach przekształcił dotychczasowy młyn wodny w młyn parowy. thumb|left|Karta korespondencyjna firmy Neumann & Comp. z ostatniej dekady XIX wieku z wizerunkiem młyna w ówczesnym kształcie thumb|Sąsiadująca z dawnym młynem willa wzniesiona w 1891 dla Josefa Neumanna – stan w 2010 W 1873, po bankructwie Kolbenheyera, młyn zakupił Albert Neumann, przedstawiciel żydowskiej rodziny osiadłej w Bielsku dwanaście lat wcześniej, założyciel przędzalni lnu w miejscu dzisiejszej Galerii Sfera. Po śmierci Alberta w czerwcu 1874 przedsiębiorstwo przejął jego syn Josef Neumann.