Na místě současného objektu stál dům již v druhé polovině 17. století a sloužil místnímu ozbrojenému pluku. Dům byl přebudován v roce 1879 a obsahoval v suterénu střílny a v přízemí zahradní restauraci. Další proměna čekala objekt v roce 1909, kdy se v něm nacházela restaurace, klubové prostory a sál. Výrazná změna proběhla v sedmdesátých letech, kdy byla stržena fasáda a nahrazena šedou břizolitovou omítkou, později byla okna vyměněna za plastová. Před stržením fasády byla naštěstí fasáda zmapována a existuje fotografie, jak objekt na začátku 20. století vypadal. Současný ředitel DDM Jakub Pich se pak v předchozích deseti letech věnoval potřebě zlepšení prostředí, v kterém děti chodí na kroužky a o snížení energetické náročnosti budovy. Ve spolupráci s projektantkou Barborou Sládkovou se podařilo po diskuzích s odborem památkové péče dospět k řešení, kdy je objekt zateplen 12 cm přírodní minerální vaty, veškeré římsy byly předem natvarovány a aplikovány přímo na stavbě. Okna byla vyměněna za nová špaletová. Výsledkem je autentická fasáda odpovídající její původní podobě s dobře zvolenými materiály a detaily. DDM je ukázka, že i v historickém centru lze při dobré spolupráci zateplit objekt, snížit jeho energetickou náročnost a v tomto konkrétním případě ještě dokonce navrátit budově její původní vzhled, a to vše bez použití polystyrenu a lacině vypadající omítky.