Le musée occupe un manoir du XVe qui comprend un corps de bâtiment ajouté au XVIIe adossé au premier rempart de la ville. Connu sous le nom de "Château-Gaillard" où le Parlement de Bretagne siégea de 1456 à 1532
"Pièges et manigances". Les enfants en costumes et leurs parents se glissent dans la peau d'enquêteurs pour partir à la découverte des salles du château, autrefois occupées par le tribunal, la prison et la sous-préfecture
Gardienne de la vallée de l'Armançon, de l'an Mil à la Révolution, la maison forte du XIIIe s. fut remaniée par Roland d'Haranguier, capitaine pour Henri IV de la forteresse de Semur, avec jardins en terrasses, escaliers d'honneur et portique