K areálu zámku opevněného prstencem hradeb s baštami náleží rovněž rozlehlý park. Po bitvě na Bílé hoře se stal majitelem brtnického panství italský šlechtic, plukovník císařských vojsk Rombald hrabě de Collalto et San Salvatore a došlo k postupné přestavbě za účasti italského manýristického architekta Baltazara Maio da Vomio a raně barokního italského architekta Giovanniho Pieroniho. Přestavbu prezentuje 11 maleb F. A. Töppera z let 1723–24, umístěných v „Sálu vjezdů“, nacházející se v nejstarší části zámku. Rod Collaltů vládl na Brtnici další čtyři století.