Le château à l'époque romane
Dans les années 1120, le vicomte Bernard Aton Trencavel entame la construction d'une nouvelle résidence destinée à succéder au château primitif que la tradition historique situe à proximité de l'emplacement des tours de la porte Narbonnaise.
Le palatium, ainsi désigné, est implanté sur l'extrémité occidentale de l'éperon rocheux où il s'adosse sur l'enceinte antique et sur trois de ses tours exhaussées à cette occasion. La demeure s'étend sur deux corps de bâtiment en retour d'équerre dominés par un donjon carré. L'étage, unique, est couronné d'un parapet crénelé dont les vestiges sont lisibles dans les maçonneries. Vers 1150, l'édifice est complété sur le côté nord par une chapelle castrale dédiée à Marie, conservée aujourd'hui sous la forme des vestiges de son abside. La demeure s'organise ainsi autour d'une cour centrale, refermée sans doute à l'est par une clôture légère, de type palissade.
Le château à l'époque royale
Dans les années 1228 - 1239 qui suivirent la création de la sénéchaussée royale, le château est doté d'une fortification. Une chemise armée de créneaux et de tours rondes munies d'archères forment désormais autour des corps de bâtiment un périmètre de 80 m sur 40m. Une porte encadrée de tours jumelles à l'est ainsi qu'une porte charretière à l'ouest en commandent les accès. La défense est complétée au-delà d'un fossé sec à l'est par une barbacane semi-circulaire dans laquelle s'ouvre une porte fortifiée. Les corps de logis romans sont rehaussés d'un étage et sont complétés d'un bâtiment nouveau élevé dans la partie sud contre le mur d'enceinte. Dans la cour " du Midi ", ses vestiges (bases d'une colonnade en pierre au rez-de-chaussée ainsi qu'une croisée à remplage rapportée à l'étage au cours du XIVe siècle) permettent d'apprécier l'ampleur et la richesse du décor d'une salle d'apparat et de pièces résidentielles.