Renesanční dům čp. 71 v Široké ulici vznikl na místě tří menších středověkých domů podle projektu architekta Domenica Cometty v době kolem roku 1600. Charakterizují jej nebývale strmé střechy a psaníčkové sgrafito na fasádě. Dlouhá léta se tu nacházela sladovna a městský pivovar. V 18. století byly upraveny interiéry a v nádvoří byla přistavěna klasicistní pavlač, na konci 19. století byl dům přestavěn a byl k němu připojen sousední dům čp. 70, který měl fungovat jako lednice pivovaru (konstrukce vzniklé touto přestavbou jsou v interiéru patrné – můžeme je vidět hned v první síni po vstupu do galerie). Dnes oba domy tvoří jeden celek. Pivovar fungoval až do roku 1949, poté se tu nacházelo několik podniků, mimo jiné veřejná stravovna, zámečnictví nebo kominictví. V roce 1992 byla zahájena kompletní rekonstrukce budovy a o rok později bylo otevřeno Egon Schiele Art Centrum, které se zde nachází dodnes.