Dům, v němž se dnes nachází kavárna Kolektiv, stojí na místě bývalého špitálního dvora. Ten je od ulice oddělený klasicistní branou, na kterou původně navazovala zídka, nyní je k ní napojena budova kavárny. Špitál sv. Jošta založil zřejmě v roce 1317 Petr I. z Rožmberka a šlo o nejstarší zařízení svého druhu ve městě. Fungoval dlouhých 605 let – zrušen byl až za první republiky, roku 1922. Krátce na to, v roce 1936, vznikla podle projektu architekta Jakuba Marka i námi sledovaná budova. Šlo čistě o novostavbu – na jejím místě se žádný dům dříve nenacházel (jak je patrné na katastrální mapě z roku 1928, kterou přikládáme níže). Architekt Marek svou stavbou vnesl do historického centra města jednu z mála stop moderní meziválečné architektury. Za prosklenou výlohou se tehdy nacházela trafika a krejčovství, po polovině století se pro dům vžil název Švadlenka.