Na Křížové hoře se od druhé poloviny 17. století nacházel kříž, který tam nechal vztyčit jezuitský kazatel Michal Koppe. V tzv. španělském kříži byl umístěn kus ze sv. Kříže a měl Krumlov ochraňovat před špatných počasím. I proto se kříži přezdívalo “Wetterkreuz”. Samotná osmiboká kaple vznikla na začátku 18. století podle projektu políra Jana Dominika Spazziho, na samotné výstavbě se velkou měrou podíleli Krumlováci. Knížeti Janu Kristiánovi I. Z Eggenberku se však ihned po dostavění zdála kaple malá a proto byl ke kapli dostavěn osmiboký ambit a tříkřížová Kalvérie. Barokní číselná symbolika hrála při stavbě významnou roli. Tři kříže symbolizovaly ukřižovaného Ježíše s dvěma kriminálníky po boku. Osm boků ambitu a kaple odkazovaly k osmero blahoslavenstvím. Poloměr kaple činí sedm metrů a počet zastavení křížové cesty je sedm (šest rokokových zastavení se sedmým v samotné kapli), což odkazuje k sedmi bolestem Panny Marie. V roce 1787 byla kaple zrušena a prodána do soukromých rukou. V 19. století pak byla částečně, leč necitlivě opravena (šindelová střecha byla například nahrazena plechovou). V roce 1928, kdy objekt koupila Terezie Schwarzenbergová, se kaple nacházela v dezolátním stavu a uvažovalo se o jejím zbourání. Zásluhou nové majitelky byla ale kaple kompletně obnovena a mohla být v roce 1933 opětovně vysvěcena českobudějovickým biskupem. Kaple nebyla během války nijak zničena, během 50. let byla ale kompletně vyrabována a zničena. Torzo zbývajícího mobiliáře se nachází v depozitáři Státního hradu a zámku. Po pádu komunistického režimu, který nechal kapli nadále chátrat, došlo v letech 1990-1992 ke kompletní rekonstrukci a kaple mohla být v roce 1991 opětovně vysvěcena. V posledních letech byla kaple díky iniciativě Věry Petrovičové a Dalibora Uhlíře znovu otevřena veřejnosti. Díky veřejné sbírce byl v roce 2019 do kaple dodán zvon, který v kapli chyběl od roku 1942, kdy jej zabavili nacisté.
Díky baroknímu dotváření krajiny kapličkami, kaplemi či zastaveními tak máme dnes Kapli na Křížové hoře; cíl mnoha procházek. A můžeme ji nejen vidět, ale i slyšet.