Domy s adresou Rybářská č.p. 20, 23 a 24 byly postaveny na začátku 16. století, v dalších letech byly domy upravovány v klasicistním stylu. Často se dlouhá historie domů ztrácí v neuchopitelných číslech. Pojďme se tedy podívat na to, kdo v domech bydlel. O určitých obyvatelích není nic známo, následující seznam je tedy jenom redukovaný, ale přesto dlouhý seznam profesí, které v domech přebývaly:
bednář, kamnář, hrnčíř, knížecí lovčí, soukeník, tkadlec, prodejce chleba, škrobárník, jirchář, koželuh, krejčíř, příslušník císařského vojska, bednář, pletař, klempíř, obchodník s ovocem, obchodník s železem, zedník, učitel, úředník, tesař, sazeč, vojenský šikovatel, kožešník a zámečník.
Historii domů netvoří jen stavební úpravy zdí a oken, ale i všechny ty příběhy, které se v domech odehrávaly.