Budova stojící uprostřed dřívější Jelení zahrady byla postavena v roce 1852 v novogotickém stylu. Navrhl ji schwarzenberský knížecí architekt Damasus Deworezky, který je spojován s řadou dalších novogotických staveb na někdejším schwarzenberském panství. Byl provádějícím stavitelem zámku v Hluboké nad Vltavou a schwarzenberské hrobky u Třeboně, které stavěl podle projektů vídeňských architektů (v prvním případě Franze Beera, ve druhém Friedricha Schmidta). Také je autorem novogotických přestaveb kostelů v Křemži a Zadní Zvonkové. Jeho krumlovská stavba představuje cihlovou architekturu, typickou pro schwarzenberské budovy druhé poloviny 19. století (velmi podobný vzhled má například i krumlovský pivovar). Byla postavena jako luštírna semen či „šiškárna“. To znamená, že zde byla třízena semena šišek jehličnanů, která pak sloužila pro novou výsadbu. Dříve se budova nacházela uprostřed parku, dnes je obklopena parkovištěm. Namísto luštírny semen je zde dnes restaurace.
