Počátkem druhé poloviny 19. století bylo pro zdejší židovskou komunitu důležité mít konečně důstojnou synagogu a současně zřídit blíže města odpovídající hřbitov. Není divu, v roce 1861 už žilo na území města včetně předměstí celkem 614 židů. Do této doby jim sloužil především židovský hřbitov v nedalekých Puklicích. O výstavbu židovského hřbitova v Jihlavě se v letech 1867–1868 postarali rabín PhDr. Joachim Jakob Unger a předseda Židovské obce v Jihlavě Leopold Schnürmann. Konečné jednání se uskutečnilo 3. 4. 1868 za účasti zástupců města, Židovské obce Jihlava a vlastníka pozemků na Panenském předměstí Franze Gottfrieda Czapa.
K nejcennějším dokumentům o hřbitově patří jeho skica a plán první obřadní síně, který v roce 1868 navrhl a postavil jihlavský městský stavitel Eduard Rathauský. Šlo o spoluautora plánů jihlavské synagogy a autora mnoha významných budov a obytných domů. Plán první obřadní síně ji zobrazuje jako prostou klasicistní stavbu. Středem objektu šla chodba umožňující průchod na hřbitov, na pravé straně byla místnost pro pozůstalé a smuteční hosty, na opačné márnice. Objekt měl půdorys asi 15,5 x 9 metrů a výšku kolem 7 metrů. Slavnostní otevření hřbitova proběhlo v roce 1869, rok předtím, než se v Jihlavě ustavilo pohřební bratrstvo Chevra kadiša. První pohřeb se konal dne 20. 12. 1870. Stélu se jménem Rosalie Schulhofové, rodačky z Jemnice, vdovy a obchodnice, která zemřela ve věku 32 let, nalezneme v jihozápadním cípu na konci hřbitova.
Radikální přestavba obřadní síně proběhla na samém počátku 20. století. Díky dochované projektové dokumentaci máme dnes možnost podívat se na dva návrhy; na nerealizovaný projekt jihlavského stavitele Ignaze Langa (1845–1927), jehož stavební firma zaujímala ve městě významné postavení, a na provedený projekt vídeňského architekta Wilhelma Stiassnyho (1842–1910), pro jehož originální ztvárnění obřadní síně se zdejší Židovská obec nakonec rozhodla.
Architekt Wilhelm Stiassny, c. k. stavební rada, sídlil tehdy ve Vídni I., Krugerstrasse 8, kde měl rovněž svůj ateliér. Plány nesou datum 12. 5. 1903 a nadpis „Ceremonienhalle am Israel Friedhofe in Iglau“. Vlastní obřadní síň Stiassny umístil do středu vyvýšeného objektu a po stranách zřídil dvě nízké přístavby. Do pravé umístil byt hrobníka, na opačnou stranu zasadil márnici s čekárnou. Celá tato honosná pseudorománská stavba s řadou historizujících prvků byla 34,5 metru dlouhá, 10,5 metru široká a vysoká cca 14 metrů. Dochované stavební plány nám umožňují částečně rekonstruovat i vnitřní prostor obřadní síně, která měla rozměry 14,5 × 8,5 metru.
Obsáhlý popis celého slavnostního obřadu otevření obřadní síně přinesly německé noviny Mährischer Grenzbote 20. 12. 1904. Článek zdůraznil, že stavba proběhla v letních měsících roku 1904 podle plánů vídeňského stavebního rady Stiassnyho. Při příležitosti oslavy se jí dostalo krásné květinové výzdoby. Krátce před zahájením slavnostního aktu se zaplnila řadou vzácných hostů. Potom následovaly projevy připomínající význam uctívání památky mrtvých a poděkování stavebnímu radovi Stiassnymu a jeho šéfarchitektu Reissovi, jihlavskému staviteli Ignazi Langovi a také městu Jihlavě, jehož stavební úřad celou stavbu od samého počátku podporoval. Na závěr všem poděkoval jménem pohřebního bratrstva Chevra kadiša jeho předseda Wilhelm Öesterreicher a předal obřadní síň do vlastnictví Židovské obce Jihlava. Vlastní světící akt provedl jihlavský rabín PhDr. Joachim Jakob Unger (1826–1912). Nevelký a jediný dosud dochovaný snímek průčelí této stavby otiskla v roce 1929 publikace Hugo Golda.
V noci ze 7. na 8. 4. 1939 vypálili střední část objektu, vlastní obřadní síň, protižidovští fanatici. Pohled na její poškozené průčelí, který pořídil neznámý voják wehrmachtu, účastník okupace Jihlavy v dubnu 1939, uveřejnil internet v závěru 20. století.
V letech 1939–1942 proběhla složitá jednání mezi Židovskou obcí Jihlava a městem, která se týkala střední vyhořelé části objektu. Výsledkem byla nakonec demolice síně, protektorátní úřady rozhodly o stavbě prosté zdi na jejím místě. Demoliční a stavební práce provedlo sdružení německých stavebních firem v Jihlavě. Ze síně zatím zůstaly pouze dva nízké postranní objekty uváděné v dalších letech jako „domky“. Jeden sloužil údajně za skladiště a ve druhém, bývalém bytě hrobníka, bydlela v letech 1941–1945 německá rodina za roční nájemné 600,- korun.
Židovská náboženská obec Jihlava přikoupila ke stávajícímu židovskému hřbitovu ještě další velkou parcelu. Chtěla tím do budoucna předejít možným problémům spojeným s nedostatkem míst pro pohřbívání. V úvahu byla vzata skutečnost, že zdejší obec sdružovala kolem 1 500 souvěrců a spolu s okolím se počet jejích členů blížil ke 2 000. Po osvobození v roce 1945 se uskutečnila nová vleklá jednání. Protektorátní smlouva byla označena za neplatnou a zrušena, neboť byla sepsána pod nátlakem. Namísto restituce veškerého majetku Židovské náboženské obce Jihlava se tehdy přistoupilo ke smíru. Menší část parcely zůstala městu a větší, o rozloze 34 215 m2, město odkoupilo jako louku za 684 300 Kčs. Na získaných parcelách uvažovalo tehdy vedení města o výstavbě sportoviště a tělocvičny, ale nakonec tady vybudovalo areál Domu zdraví, na který v současnosti navazují objekty nově budované nemocnice.
Dnešní židovský hřbitov má dostatečnou rozlohu 8 879 m2. Jenom díky nedotknutelnosti starých hřbitovních partií a jejich prolínání s novými částmi si hřbitov i nadále uchoval svoji ojedinělou a úchvatnou atmosféru klidu a zádumčivosti, a to i navzdory záboru úvodní části s dětskými hroby, která v roce 1966 musela ustoupit nově budované uliční vozovce U Cvičiště.
V současnosti tvoří podstatnou část průčelí kovaná brána s motivem svícnu. V levé části hřbitova stojí nová obřadní síň postavená v roce 1969. Navrhla ji Milena Kubíková-Veselá z Jihlavy. Uvnitř strohé síně, která zdaleka neodpovídá významu tohoto místa, jsou instalovány tři mramorové desky, které se staly jediným smutným pozůstatkem původní Stiassnyho obřadní síně. Na protilehlé straně se nachází památník věnovaný všem obětem holocaustu z Jihlavy a okolí, slavnostně odhalený 7. 5. 1995. Na hřbitově spočinulo celkem 1 379 pohřbených, z toho 126 dětí. Odpočívají tady Bernhard a Marie Mahlerovi, rodiče hudebního génia Gustava Mahlera, a také pět jeho sourozenců. Dalším pohřbeným je Jacob Sommer, otec JUDr. Ernsta, advokáta, redaktora a významného německy píšícího spisovatele. Opomenout nelze Elsu Eislerovou, matku syna Martina, významného architekta v Buenos Aires, Betinu Fürnbergovou, matku syna Louise, významného německého básníka, dramatika a diplomata, a Natana Tandlera, otce MUDr. Julia, významného anatoma a politika, který před nacisty uprchl do Moskvy, kde zemřel. Připomeňme i hrob Jacoba Hilsnera, otce syna Leopolda, jenž byl ústřední postavou takzvané hilsneriády, která otřásala celou Evropou.
LV