A l'origine le château d'Ussé était un lieu fortifié pouvant recevoir une petite garnison, il était entouré de tout un système défensif : douves, chemin de ronde couvert, mâchicoulis, tours d'angles dont le Donjon. Sa construction de base date du XIe, époque des Guelduins et d'Olivier d'Ussé, il sera modifié par Jean V de Bueil, seigneur d'Ussé en 1442.
Le château d'Ussé deviendra à la fois une demeure de plaisance, mais aussi ayant la capacité de se défendre contre les bandes armées terrorisant les campagnes à la fin de la Guerre de Cent ans.
Le donjon était l'une des pièces stratégiques du système de défense et de vision pour la surveillance des points sensibles côté Forêt de Chinon et allée venant du village.
Les trois pièces superposées étaient aménagées avec un certain confort : cheminées, latrinnes.
Il est possible d'accéder facilement à l'autre tour d'angle située vers le Pavillon Vauban.
Un réseau de souterrains reliait également les points fortifiés
Une histoire, ou légende, nous rappelle la présence à minuit sonnés, d'une Dame Mystérieuse
qui se rendait dans le haut du Donjon, où veillait de jeunes chevaliers attachés à la
garde personnelle du Seigneur de l'époque...
L'on entendait ses pas feutrés et le bruissement de sa robe...