Budova je renesančního původu a pochází z roku 1555, vznikla ale na místě staršího gotického mlýna. Na nároží pod opadající omítkou byl dříve vidět raně barokní stavební zásah – červená bosáž. Výrazná klasicistní přestavba proběhla skoro přesně před 200 lety – v roce 1819. V druhé polovině 19. století vzniklo východní křídlo, v kterém dnes nalezneme hospodu U Dušků. V roce 1939 byl zbourán dolní mlýn, který stál v místě dnešního parkoviště u křižovatky (na úvodní fotografii bychom ho nalezli na levé straně). V 60. letech při stavbě Objížďkové ulice pak byly zbourány objekty přiléhající k mlýnu, jednu fotku těchto objektů naleznete níže. V roce 1984 byl mlýn rekonstruován a zároveň adaptován na obchodní dům, který se v něm nachází dodnes.
