La plus ancienne mention de la Vallée de la Buèges dans le Cartulaire de Gellone date du 11 août 982.Il s’agit d’une donation par Loup, prêtre et son frère Gérard à l’abbaye de Gellone, aujourd’hui Saint Guilhem le Désert.

Les noms des seigneurs de la Baronnie apparaissent dans les textes associés au nom du château (« Rixendis de castro de Pegairolas ») en 1122.Ce château devait être particulièrement important, compte tenu des traces qui subsistent. Dans la seconde moitié du XIIème siècle, l’édification d’une tour à Saint Jean de Buèges vint  compléter le système de défense de la Vallée.

La Baronnie de Pégairolles de Buèges, partie du comté de Substantion (Castelnau-le-Lez), passe en 1172 au Comté de Toulouse par le mariage d’Ermessende, fille de Bernard Pelet avec Raymond VI. Ce dernier, condamné en 1211 par la Papauté pour avoir pris le parti des « hérétiques », est privé de ses possessions.

La baronnie est, à ce moment-là, inféodée à l’évêque de Maguelone.

La « croisade des Albigeois » multiplie les destructions et anéantit la culture de l’Occitanie d’alors. Les conséquences se font sentir dans notre microrégion. En 1217, Simon de Montfort massacre une partie de la population masculine de Bernis. Une milice venue de Montpellier s’attaque au château de Madières et dévaste les terres environnantes. Raymond de Saint Maurice, alors baron de Pégairolles, choisit l’évêque de Lodève comme suzerain. Cette baronnie, il la tiendra en fief directement du roi de France. Sous l’autorité de ce dernier, sénéchaux, viguiers et bailes vont démanteler le système féodal en place.

En effet, le château du Caladon(près du Vigan)sera détruit, totalement rasé en 1243. Le château de Pégairolles passe de main en main jusqu’à ce que Salomon de Falguière le vende à la famille Atbrand en 1295.

Entre-temps, le château de Saint Jean de Buèges, dit de Baulx, apparaît pour la première fois dans les textes en 1280 : Gaucelin de Caladon en est le seigneur.

Le château, décrit en pleine activité, est déjà construit visiblement depuis un moment.La tour initiale est devenue le donjon du château de Baulx.

Les Bérenguier de Caladon seront seigneurs du château de Baulx jusqu’en 1420.Bertrand Caladour teste en faveur de sa fille Brayde, femme de Pierre Trincayre de Clermond.

 Les Trinquaire, hauts magistrats montpelliérains, tenteront de faire leur place dans la vallée. Cependant, des conflits éclatent avec les habitants du village puis avec le baron Antoine de Murviel au sujet, là aussi, de droits coutumiers. Une suite de procès s’échelonne sur une centaine d’années et oppose les familles Trinquaire et Atbrand ainsi que  leurs successeurs. Ce conflit s’exacerbe pendant les guerres de religion. Jean de Trinquaire adhère à la religion réformée. Les habitants de la vallée sont mi-partis.

Quelques jours après le massacre de la Saint Barthélémy, le seigneur de Laroque Bertrand de Saussan s’empare du château de Baulx. Une troupe s’y installe pendant huit ans, jusqu’à ce que le légitime propriétaire le récupère moyennant sa conversion. Son fils Samuel Trinquaire vend la seigneurie à Noble Deffours, viguier de la Baronnie de Pégairolles en 1637.

Ce dernier réaménage le château. En 1677, la Baronnie de Pégairolles est cédée à Antoine de Ratte, sieur de Cambous. A partir de ce moment, le château  n’est plus habité et va lentement se dégrader d’autant plus que ses pierres seront utilisées pour les nouvelles constructions dans le village. Cependant, il est investi une dernière fois en 1703 par ses habitants, lors d’une attaque par l’un des derniers groupes de Camisards, mené par Pierre Laporte dit Rolland. De fait, les Camisards se sont nourris dans les maisons, y ont passé la nuit et sont repartis le lendemain matin.

En 1813, Girard du Lac achète les ruines du château à Monsieur de Turenne, descendant des Cambous. Il ferme l’enclos, le transformant en bergerie.

En 1990, son arrière petit- fils, Monsieur Sicard, alors maire du village, en fait don à la commune pour 1 euro symbolique. Cet acte permettra à la commune de bénéficier de subventions au titre de Village d’Intérêt Supérieur et de réaliser les travaux de réhabilitation.