Původní rodové sídlo Vítkovců – Hrádek, prošlo zásadní proměnou v souvislosti s rozšiřováním a úpravami rezidence pro Rožmberky. Zásadní přestavbou tehdy prošla i válcová hmota věže. Středověká věž byla v horní části upravena, nad subtilní arkádový ochoz vyzdvihnul architekt Baldassare Maggi tambur s členitou helmicí, zároveň byla věž opatřena bohatou malovanou výzdobou tvořenou iluzivní malbou. Ta, byť často jen v torzech, zůstala zachována až do konce 20. století. Po roce 1989 byla věž na základně zodpovědného výzkumu, práce architektů Václava Girsy a Miloslava Hanzla, restaurátorů a památkářů, restaurována a přiblížena její pravděpodobné původní podobě realizované architektem Maggim. Lešení pro opravu věže postavila v roce 1990 firma KOALKO. Na jeho stavbu bylo použito 21 km trubek, nejvyšší 28. podlaží bylo ve výšce 565,9 metrů nad mořem a jednalo se tehdy dle kroniky města o třetí nejvyšší stavbu z trubkového lešení na světě. Když se v roce 1993 začalo lešení odkrývat, Krumlovákům se naskytl nezvyklý pohled na barevnou věž v tehdy ještě z velké části neopraveném šedivém Krumlově.
