Dům bývalé prelatury (Horní č. p. 155) je jedním těch, jejichž stavební vývoj je opravdu spletitý. Má gotické jádro, což mimo jiné dokládá i dochovaná nástěnná malba. Původně šlo zřejmě o dva měšťanské domy, které byly později spojeny a přestavěny jako rozšíření fary. Na sklonku 16. století došlo k renesanční úpravě domu a také zde byl založen prelátský pivovar, který fungoval téměř 300 let. K dalším přestavbám došlo v roce 1624, po jednom z mnoha požárů domu, jejichž příčinou byl právě pivovar. Tehdy vzniklo nově celé uliční křídlo a východní spojovací trakt. Arkády v nádvoří a schodiště s představenou stěnou jsou dílem rokokové úpravy, ke které došlo po dalším požáru v roce 1768. Autorem návrhu této přestavby byl zřejmě architekt, který pracoval na letohrádku Bellarie v zámecké zahradě. Z této doby také pochází malby Františka Jakuba Prokyše v tzv. Prokyšově sálu. V druhé půli 19. století byla novorenesančně upravována uliční fasáda, včetně dodání historizujících štítů. Jako „prelatura“ je budova označována až od roku 1655, kdy zdejší duchovní získali titul infulovaného preláta. Předtím měli nejprve pouze titul faráře, poté děkana a vikáře. Zajímavostí je, že budova prelatury je malou chodbičkou propojena s prelátskou oratoří vedlejšího kostela sv. Víta. Dnes se v objektu nachází městská knihovna. V následujících letech se plánuje rekonstrukce a rozšíření knihovny či doplnění malé kavárny.
