La motte du Cayla est un des châteaux les plus méconnus du Rouergue : il n’est cité dans aucun ouvrage et pourtant il a parfaitement conservé l’essentiel de son infrastructure primitive, après élimination totale de sa superstructure périssable, faite de bois. Il se présente en effet comme une butte tronconique de 6 m de hauteur dont la surface supérieure, aplatie, a 10 m de diamètre et dont les flancs s’inclinent sur 15 m de longueur jusqu’au sol naturel. Du coté de la montagne deux fossés secs, de 4 et 6 m de largeur, séparés par une arête schisteuse de 3 m de largeur, protègent le secteur le plus exposé, vers le nord-est.
La motte du Cayla, nommée aujourd’hui Le Castelas, est placé entre deux ruisseaux du Gos et de Livignac, en amont de leur confluent. Elle commande deux chemins anciens : l’un vers Martrin, par la Lausière ; l’autre vers la Cousinié (faussement appelée « La Cousmié » sur la carte IGN au 1/25 000e) et la Croix-haute, après avoir laissé à gauche, en montant, le Puech des Fourques (cote 621).
D’après des renseignements fournis sur place, il y avait au sud de la motte deux rampes permettant de faire abreuver les chevaux dans le ruisseau du Gos. De plus, sur le flanc Est de la butte on a trouvé des grains brûlés (orge et seigle), sous une dalle : il y avait donc là des silos. Enfin, dans un champ confrontant le chemin de la Lausière, plusieurs tombes en dalles, d’époque probablement mérovingienne, ont été observées.
Le château du Cayla était composé d’une motte de terre, entièrement conservée et d’une tour en bois, entièrement disparue, tandis que sur la face plane qui entoure la basse du donjon subsistante se dressaient très probablement des bâtiments de bois et de torchis, gardés sur tout leur pourtour par une palissade.
Ce type de château qui apparaît en règle générale à partir du IX e siècle est très peu représenté dans le Languedoc Pierreux auquel appartient le département de l’Aveyron et où prédomine à cette époque les roques – dont la plus anciennement attestée, en l’an 800, est la Roca Priscio, autrement dit le Roc du Boundoulaou – par opposition au Languedoc Terreux, c’est-à-dire le Tarn, le Tarn-et-Garonne, etc…, où les mottes sont très nombreuses. Toutefois dans l’Aveyron, les mottes, bien que rares, ne sont pas totalement absentes, telle celle de la Salvage, sur la Larzac. Reste donc pour le Rouergue une étude à faire sur cette catégorie humble et modeste de châteaux qu’ont ignorés jusqu'à présent les castellologues.
Souvent les mottes se sont transformées au cours des siècles, les tours de bois étant remplacées par des donjons de pierres : tel n’a pas été le cas au Cayla où l’ancien château-motte semble avoir été utilisé jusqu’au XIIIe siècle comme en témoignent non seulement un document de 1246 énumérant les possessions de Saure de Caylus – possessions dont le contexte indique qu’il s’agit de château ou de points d’appui fortifiés – mais aussi le fait qu’en 1245 il est question d’un personnage nommé Gui del Castar, fils du seigneur de Balaguié, dont on peut penser qu’il résidait au Cayla.
En revanche, au XVe siècle, il n’est plus question ni de seigneur féodal ni de château. Le village du Cayla, qui appartient à cette époque à l’ordre des Hospitaliers, est qualifié expressément en 1421 de locus, c’est-à-dire de localité non fortifiée. De même, plus explicitement encore, en 1488, le locus de Caylario s’oppose au castrum de Fareyrolas.
Quant à l’église du Cayla, qui est l’ancienne chapelle du château, elle a survécu beaucoup plus longtemps comme en témoigne la date de 1672, gravée sur le clocher, date que l’on retrouve dans le village sur la croisée à meneaux de la maison Blanc. De son ancienne structure romane subsistent les modillons que l’on distingue à l’extérieur : ils devaient exister en 1158, date à laquelle vivait Benedictus capellanus del Castlar qui est mentionné dans le cartulaire de Sylvanès (p224) en même temps qu’un clerc de Curvalle et que Petrus de Caistort (Caistort est l’ancien nom du château de Castor situé à 2 km à l’ouest du Cayla où se touve toujours l’église paroissiale Saint Michel). C’est peut-être au XVIIe siècle que fut construite la voûte d’arêtes dont la date précise pourrait être fournie par l’identification des armoiries sans écusson figurant sur la clé circulaire : avis aux héraldistes !
Non loin du Cayla, à environ 1 km au sud-est, il y a une seconde motte beaucoup moins reconnaissable que la précédente, mais qui a été très nettement aménagée de main d’homme, au-dessus du confluent du ruisseau de Goussilles et du ruisseau du Cun qui descend de la Raffinié. On distingue sur le coté Sud un fossé sec qui permet la défense du mamelon central qui n’est pas fait de terre rapportée, comme au Cayla, mais de terrain naturel plus ou moins terrassé (murs de soutènement). Dimensions approximatives : 20 sur 10 m. Le nom local est « Château Gaulois ». Sur la pente Nord a été recueilli un grand fragment de poterie noire, ornée de deux rangées d’impression faites à la molette, qui peut être classée à une période indéterminée du Moyen Age. Notons en passant que c’est dans le ruisseau du Cun, au pied de cette fortification, qu’a été trouvée la statue-menhir dite de la Raffinié qui a été souvent mal localisée car il y a dans la commune de Martrin une deuxième ferme, appelé aussi la Rafinié – avec un seul f ! -, à 1 km au sud-ouest de Farret.
Signalons enfin dans les environs du Cayla une troisième fortification, mais d’un type fort différent, située au lieu-dit la Tourré, à 500 m au sud-est du moulin de Ligounet, sur le Gos. Il s’agit d’une simple enceinte, délimitée en partie par des murs en pierres sèches, à l’est et au nord (épaisseur 1.40 m), en partie par des escarpements rocheux, au sud et à l’ouest. Dimensions approximatives : côté nord, 30 m ; côté est, 20 m ; côté sud, 10 m ; côte ouest , 25 m. L’enceinte est établie sur une forte pente inclinée du sud au nord en direction du ruisseau et la défense est uniquement constituée par la hauteur verticale , de l’ordre de 4 à 5 m, que présentent les barres rocheuses naturelles parfois surmontées d’une muraille maçonnée. Aucun texte historique ne mentionne cet ouvrage et aucune trouvaille significative si ce n’est des scories de fer, n’y a été faite jusqu'à présent. Il est possible que ce refuge rustique, établi en un lieu écarté et sommairement bâti, date des Guerres de Religion.