Ve 30. letech 19. století založil ve Vídni Hermann Isak Hirsch Pollack živnost na zprostředkování obchodu s textilem. Se syny Bernhardem a Leopoldem ji postupně rozšířil a vznikl podnik Hermann Pollack & Söhne. Leopold jej po otcově smrti převzal. Firma vlastnila továrnu na elektrické bělení, barvení a konečnou úpravu ve Floridsdorfu u Vídně. Postupně koupila nebo nově založila některé přádelny a tkalcovny také v České Třebové, Velké Vsi, Chrastavě, Nové Rudě, Hlinsku, ve Višnové u Frýdlantu nebo v Jihlavě. V době největšího rozkvětu měla společnost Hermann Pollack & Söhne tucet továrních objektů a přes 4000 zaměstnanců.
Do Jihlavy přišla firma Hermann Pollack & Söhne v roce 1895, kdy Pollackové zakoupili pozemek u Koňského rybníka a založili továrnu na výrobu plyšů a krymrů. Situační plány areálu vypracoval městský stavitel Karl Wagner, první tovární budovu na levém břehu Jihlávky navrhl a postavil brněnský civilní inženýr a stavitel Jan Kowarzik. Plyše a krymry, což byly jemně tkané imitace jehněčí kožešiny, tkali tkalci ručně na domácích stavech nebo v Pollackově provozovně v Hlinsku a do jihlavské továrny se vozily, aby zde byly obarveny a upraveny do konečné podoby.
V roce 1911 se Leopold vzdal vedení firmy a nástupcem se stal Alfred Willheim. Ten vedl podnik 10 let. Na konci tohoto období zůstaly jihlavská i hlinecká provozovna zadlužené a výrobu převzala Akciová společnost pro textilní průmysl v Jihlavě. Vedení přesunulo celou produkci plyšů a krymrů z Hlinska do jihlavské provozovny. Společnost zajišťovala dodávky plyše na dětské hračky a k čalounění nábytku. Produkovala imitace kožešin, vyráběla pudřenky a podobné zboží. Své produkty exportovala i do dalších zemí. Na počátku 20. let 20. století v jihlavské zcela mechanizované továrně pracovalo kolem 140 zaměstnanců. Firma byla modernizována i stavebně. Ve 20. letech vznikla patrová tkalcovna, k ní byla přistavěna třípatrová budova s dílnami, dále strojovna a kotelna. Na počátku 30. let byl podle návrhu Karla Rejchrta vybudován směrem ke Koňskému rybníku podlouhlý objekt barevny a sušáren, který byl díky železobetonové konstrukci zčásti vysunut nad břeh starého náhonu. Roku 1938 byla podle projektu Jana Schindlera přistavěna část továrny směrem na jihovýchod ve funkcionalistickém stylu. O několik let později proběhla rekonstrukce kotelny. Koncem 30. let se Akciová společnost pro textilní průmysl v Jihlavě začala zajímat o objekt Studentského mlýna (Studentenmühle), jenž se nacházel u starého Brněnského mostu směrem k dnešní zoo a patřil Antonu Frühaufovi. Společnost nemovitost koupila a v letech 1947–1948 v jejích prostorách zřídila přádelnu mykané příze.
V běhu politických událostí změnila společnost několikrát svůj název. Za druhé světové války se přejmenovala na Textilii, po znárodnění v roce 1948 krátce spadala pod národní podnik Velveta Varnsdorf. Roku 1949 vznikl národní podnik Krimet – továrny na plyše a krymry (kromě Jihlavy sem spadaly také závody v Kraslicích a Liberci-Rochlicích). Později se továrna soustředila jen na produkci bytového textilu a fungovala pod názvem národního podniku Bytex. Na přelomu tisíciletí vznikla akciová společnost Alfatex, která průmyslový areál několik let využívala.
Roku 2018 se souboru nevyužitých budov ujal jihlavský podnikatelský pár, který jej přestavěl na obytné domy s řadou bytů i nebytových prostor. Zamýšlenou dominantou nově zrekonstruovaného komplexu se stal nepoužívaný tovární komín, který majitel zvažuje v budoucnu využít jako vyhlídkovou věž. Kuriozitou a upomínkou na válečná léta zůstal německý betonový kryt, tzv. Einmannbunker, který se stal součástí areálu. Nachází se u severovýchodní stěny budovy. Byl patrně vyroben v Drážďanech a za druhé světové války převezen do Jihlavy. Pozorovatelna, která sloužila za druhé světové války jako prostor pro ostrahu, je údajně jedinou tak malou stavbou svého druhu na Vysočině.
MP