Ptačí hrádek byl původně plánován jako památník na oslavu vítězství nad Napoleonem Bonapartem v bitvě u Lipska roku 1813. Vojskům totiž velel bratr českokrumlovského vévody, polní maršál Karel I. ze Schwarzenbergu. Návrh památníku zřejmě vypracoval Jan Sallaba, mimo jiné autor vyhlídkové věže na Kleti a tehdejší ředitel krumlovského vrchního stavebního úřadu. Jeho monumentální návrh, který počítal s antikizující průčelím až chrámového vzezření na každé ze čtyř stran, nakonec nebyl realizován v úplnosti. Není jisté, zda to bylo kvůli nedostatku financí, nebo zkrátka proto, že v průběhu rychle se rozvíjejícího 19. století se už takto monumentální stavba přestala do krajiny hodit. Stavba tak zůstala rozestavěná a dlouhou dobu chátrala. Zájem o ní nejevil ani komunistický režim, ani porevoluční majitel, Lesy ČR. Až roku 2010 jej do vlastnictví získala architekta Lenka Havlíčková, která jej zrekonstruovala. V současné době není přístupný veřejnosti.
