Stará panská kovárna na Holajce stávala nedaleko vedle zámku již od roku 1550 a sloužila vrchnosti, včetně období za vlády zdejších pánů z rodu Rottalů, kteří drželi holešovské panství v letech 1650 až 1762. Do soukromých rukou se dostala 31. března 1776, kdy tehdejší majitel zámku Ludvík Rudolf Erdödy prodal „proti obydlí panského zahradníka ležící kovárnu i s obydlím a všemi inventárními věcmi“ poddanému kováři Václavu Gargulákovi za 2000 rýnských zlatých. Roku 1809 zdědil kovárnu po matce vdově Kateřině její syn Karel Gargulák. Rod Zemanů, podle nichž je kovárna nazývána, získala tuto živnost v dražbě roku 1847 za 1550 zlatých konvenční měny. Velkého rozkvětu se kovárna dočkala za posledních držitelů Holešova z rodu Wrbnů. Ti díky své zálibě v chovu koní kováře a podkováře ve své blízkosti nutně potřebovali. Posledním kovářem z tohoto rodu byl Emil Zeman, který jak pamětníci dosvědčují, docházel do kovárny až do roku 1953.

Historie města Vsetín se začala psát v údolí řeky Vsetínské Bečvy, kde na konci 13. století stál mlýn a kostel. V polovině 15. století pak byla na pravém břehu řeky dnešního Horního náměstí vystavěna tvrz, jež byla v 17. století přestavěna na zámek. I když se ještě o náměstí rozhodně nejednalo, místo se mohlo začít rozvíjet. V 16. století se na území Vsetínska rozšířil chov koz a později ovcí, které pásla místní čeleď, nazývaná valaši. V průběhu třicetileté války se Vsetín rozšířil z Horního města i na levý břeh řeky Bečvy. Roku 1708 uherští rebelové město dobyli a zapálili, takže popelem lehlo téměř celé město a ze zámku zbyly pouhé ohořelé zdi.