Špitál při latránském kostele sv. Jošta vznikl pravděpodobně už na počátku 14. století, jeho založení je spojováno s Petrem I. z Rožmberka. Nebyl nemocnicí, ale spíše jakýmsi útulkem pro chudé. Přestože se v jižní části stavení zachovalo gotické zdivo, dnešní vzezření budovy je výsledkem velké barokní přestavby. Ta proběhla v letech 1708 až 1710 a dodnes ji připomíná znak jejích iniciátorů, Jana Kristiána I. z Eggenberku a jeho manželky Marie Arnoštky ze Schwarzenberku, na bráně do špitálního dvora. Přestože vedlejší kostel byl zrušen už za josefinských reforem na konci 18. století, špitál fungoval až do roku 1922, tedy téměř šest století. Po jeho zrušení, v polovině třicátých let, byl upraven na obytný dům s obchody a truhlářskou dílnou v přízemí. Tuto přestavbu, financovanou Nákupní jednotou hospodářských družstev Kooperativa, navrhl architekt Jakub Marek, který je zároveň autorem budovy Švadlenky (dnešní kavárna Kolektiv), jež od roku 1936 uzavírá špitální dvůr.