Bludovský zámek byl postaven až sto let po zániku hradu, který stával nad Bludovem. Do té doby Žerotínové bydleli na zámku v Šumperku a poté ve Velkých Losinách. Nové sídlo postavil Petr ze Žerotína roku 1520, ale jednalo se spíše o obytnou budovu než panské sídlo. Až nový majitel Kryštof Pavel z Lichtenštejna-Kastelkornu, který získal bludovské panství v rámci pobělohorských konfiskací roku 1622, zahájil o dva roky později výstavbu nového zámku, jenž měl tehdy podobu písmene L. Teprve roku 1708, za hraběte Františka Antonína z Lichtenštejna-Kastelkornu, bylo přistavěno třetí barokní křídlo a celý zámek byl barokně upraven, čímž dostal nynější podobu.​

V roce 1714 začal majitel litomyšlského panství, hrabě František Václav z Trautmannsdorfu se stavbou nového velkého kostela a nových škol, který schválil projekt významného barokního architekta Giovanni Battisty Alliprandiho. Tento Ital byl v Litomyšli i pohřben, nicméně po jeho smrti v roce 1720 další dva roky dokončoval stavbu kostela František Maxmilián Kaňka, který jen upravil vzhled fasád a byl zřejmě autorem interiérů. Kostel několikrát vyhořel, přičemž největší škody utrpěl v letech 1735, 1775 a 1814. Zařízení pak bylo doplňováno ještě v průběhu celého 19. století.