Kolem roku 1396 přechází Brtnice do rukou Valdštejnů a začíná po dvě století budování rozsáhlého a hospodářsky prosperujícího feudálního dominia. Z tvrze na ostrohu vyrůstá i přes zákaz markraběte Alberta Habsburského hrad. Před polovinou 16. století za bohatého Zdeňka II. Brtnického z Valdštejna datujeme první etapu přeměny hradu na renezanční zámek, na které se podílel italský architekt Baltazar Maggi de Ronio. Zlom nastává v roce 1621 po Bílé Hoře. Panství bylo pro účast v povstání Zdeňkovi IV. zkonfiskováno.
Roku 1623 císař Ferdinand II. prodal brtnické panství hraběti Rambaldovi XIII. z Collalta et San Salvatore. Při švédských nájezdech v letech 1645-46 byl zámek zpustošen. Přestavba započala kolem roku 1650 za Claudia III. 14. června 1760 postihl Brtnici, město i zámek, rozsáhlý požár. Poslední stavební úpravy proběhly v polovině 19. stol. Antonio Ottaviano v roce 1842 nechal vystavět patro nad do té doby přízemním traktem západního křídla středního nádvoří za použití novogotických architektonických detailů. Ve stejném duchu bylo upraveno rovněž příčné křídlo mezi středním a jižním nádvořím. 20. stol. není jak pro rod Collaltů, tak pro zámek příznivé. Po pozemkových reformách a poválečné konfiskace tak završily více než tři sta dvacet let trvající přítomnost italského šlechtického rodu Collalto et San Salvatore v moravském provinčním prostředí, která znamenala nesmírný přínos ve všech oblastech kulturního, uměleckého i společenského a také hospodářského života.

Současný stav tak odráží sto let chybějící údržby zámku.

Foto: OKPPCR Kraje Vysočina