Kopec, na němž tři kamenné kříže stojí, se dříve nazýval Kaplisko. Na jeho vrcholku stávala od roku 1483 dřevěná kaple, která byla postavena jako poděkování za to, že bylo město uchráněno před morovou epidemií. Kaple však byla časem zbourána a na jejím místě lidé v roce 1680 vztyčili tři dřevěné kříže.

Dřevo ovšem není dokonale trvanlivý materiál a nevydrží věčně. Rozmary počasí křížům postupně ublížily natolik, že museli být několikrát obnoveny.

Když se v roce 1831 k Novému Městu blížila další epidemie cholery, místní lidé se ji snažili odvrátit nejen modlitbami za boží ochranu, ale tehdejší římskokatolický děkan Leopold Pausa inicioval také nahrazení dřevěných křížů kamennými. Lidé ve městě tehdy uspořádali sbírku, při níž se podařilo vybrat čtyři sta zlatých. Za ně byly vytesány a následně vztyčeny tři kamenné kříže. K jejich slavnostnímu vysvěcení došlo 23. září 1832. Nápis na prostředním kříži odkazuje na tehdejší události.

Mnozí lidé považují toto místo za magické a tajuplné. Ke Třem křížům vede také naučná stezka, která začíná na ulici Jánské.