La citadelle de Cadoule était un lieu de refuge. Elle fut construite par les paysans de la région, fuyant devant linvasion.
Cette citadelle aurait succombé aux anglais.
Située sur la rive droite du Jaoul, on y accédait par un chemin samorçant au hameau de Cassan et qui descendait vers la forteresse en faisant six coudes prononcés.
Des murs de un mètre de hauteur, marquent lemplacement des huttes qui entouraient lédifice qui devait être séparé de la terre par un pont levis, dont on reconnaît encore lemplacement.
Le cimetière se trouvait à gauche avant daccéder à ce pont.
Sur lemplacement du Château de Cadoule, il existe encore de nos jours, une petite chapelle dédiée à SAINT AMANS, dans laquelle la société des Amis de Villefranche et du Bas Rouergue a récupéré une Vierge à lEnfant, statue en pierre du XIVème siècle, que la Commission Supérieure des Monuments Historiques en date du 16-5-60 a classé parmi les monuments historiques.
La disparition de CADOULE
Grâce à un très vieux manuscrit, en mauvais état, communiqué en 1961 par une famille de Lescure, dans lequel sont consignés certains faits concernant le Château de Cadoule, nous pouvons tirer les faits suivants :
le village de Cadoule et sa forteresse furent anéantis au mois de mars 1348 et presque tous les habitants de ces lieux moururent soit victimes des anglais qui les avaient assaillis, soit victimes de la peste.
Ces victimes furent ensevelies dans le cimetière de Cadoule et une pierre fut dressée au milieu de ces sépultures.
Cette pierre ou stèle fut transportée plus tard à Lescure lorsque le cimetière de Cadoule fut laissé en abandon.
Sur lemplacement de lancien Cadoule, non loin de la Chapelle actuelle, qui a été entièrement rénovée, un certain endroit a toujours été dénommé par les anciens " Cimetière des anglais ".