« Dans le recueil des hommages rendus au comte Alphonse de Poitiers, il est question en 1259 du château de Cabrerets, dénommé par la suite, château des Anglais ou plus populairement « château du Diable ». De cette base, les Anglais, qui en restèrent longtemps les maîtres, se livraient à toutes sortes de pillages. Pris et repris plusieurs fois, il était toujours occupé par les bandes anglaises en 1380. En 1387, Bertrand de Basserat, dit de la Garénie, Capitaine anglais, s’en empara à nouveau, ainsi que des cavernes ou grottes qui longeaient le Célé, mais il ne conserva pas longtemps ces conquêtes, Jean d’Hébrard de Saint-Sulpice l’ayant chassé vers 1390.

Sa construction remonterait aux premiers temps de la féodalité et, d’après une tradition tenace, il aurait appartenu, dès 745, à Waïffre, duc d’Aquitaine. Il est situé à l’entrée Nord du village, aux flancs de la roche de Roquecourbe qui, à cet endroit, forme en partie un encorbellement. L’ensemble n’avait pas moins de 90 mètres de long, près de 30 mètres de hauteur et 5 mètres de largeur moyenne, avec des murailles de 2 à 3 mètres d’épaisseur. Une tour ronde dominait cette formidable forteresse (voir photo), dans laquelle on ne pénétrait que par un étroit sentier que barraient de solides portes. Il était impossible d’en bas de l’escalader et d’en haut d’y laisser tomber des projectiles, en raison de l’encorbellement de la falaise. » (cf: J.Clamon/A.Niederlender)