Mlýn pod kostelem sv. Víta je v pramenech uváděn již k roku 1347, proto budou budovy na pravém břehu Vltavy u Benešova mostu už gotického původu. Na konci 16. století vznikly zadní přístavky a na počátku 17. století byl areál mlýnu přestavěn pro účely papírny, která tu od té doby fungovala. Papírna byla v roce 1766 prodána rodině Pachnerových, která od konce 18. století vlastnila i papírnu na Plešivci. Patřila jim po téměř celé 19. století. Do roku 1860 k objektu papírny těsně přiléhala vnější Kájovská brána. Až po zboření obou Kájovských bran mohl tehdejší majitel, který papírnu přestavěl na moučný mlýn, nechat postavit obytnou budovu obracející se do ulice (na fotografii). Stavba s fasádou v historizujícím stylu byla dokončena roku 1881. Název „Mrázkův mlýn“ dům získal až podle mlynáře Josefa Mrázka, který budovu vlastnil a obýval od 20. let 20. století.
