Prvotní hřbitov musel v Jihlavě existovat už někdy ve 13. století. Ovšem středověký hřbitov po vypovězení Židů zanikl, takže se neví, kde přesně stával. Nový hřbitov, který tu stojí dodnes, založili v roce 1867. Má skoro devět tisíc metrů čtverečních a stojí na něm přes pět tisíc náhrobků. Od roku 1904 tam stojí i novorománská obřadní síň. Začátkem 2. světové války byla vypálena, hřbitov byl zničen a většina hrobů byla povalena. V šedesátých letech byla obřadní síň obnovena jako malá novostavba a hřbitov upraven. Vstupní bránu nechali ukovat s židovskou tematikou. V devadesátých letech tu umístili i pomník obětí nacismu.