Leur vieux château fort ayant été démantelé à la suite des guerres de religion, les Seigneurs de Peyre qui régnaient sur la plus grande partie du Nord Gévaudan décident de transférer le siège de la baronnie à La Baume.
En 1630, Antoine de Grolée fait construire sur ce site une demeure qui n'a plus rien d'une forteresse mais dont les murs épais en granit du pays lui confèrent encore un caractère très défensif.
A la fin du XVIIème siècle, son fils, César de Grolée, comte de Peyre, lieutenant général du roi Louis XlV pour le Languedoc, fait décorer le château par des artisans locaux. .
En 1710 des travaux d'agrandissement sont entrepris: la décoration intérieure est confiée à des artistes venus de Montpellier et de Paris. Les visiteurs remarqueront le contraste entre le style rustique du XVIIème siècle, et l'exubérance du XVIIIème siècle qui lui ont valu le titre de "Versailles du Gévaudan".
La famille du comte de Las Cases propriétaire depuis 1858 assure la conservation et l'animation de La Baume.