Le Catharisme s’implante au XIIème siècle dans le Languedoc. Dès 1208, le Pape et le Roi s’associent pour lutter contre cette doctrine qui remet en cause leurs pouvoirs. La répression est sévère et de nombreux bûchers sont dressés dans toute la région.
Son anéantissement permet d’annexer à la couronne de France une région jusqu’alors indépendante.
Après les troubles de la croisade contre les Cathares, l’évêque Bernard de Castanet , dès la fin du XIIIème siècle fait achever l’édification du Palais de la Berbie , palais épiscopal aux allures de château fort et commande le chantier de l’impressionnante cathédrale Sainte-Cécile dès 1282.

Cet ensemble symbolise le renforcement du pouvoir épiscopal et témoigne du triomphe de l’Eglise sur l’hérésie. Mais le chantier de cette nouvelle cathédrale va durer deux siècles car la guerre de 100 ans fait rage et une épidémie de peste noire décime les deux tiers de la population.
Durant la période médiévale, la ville dispose d'un important scriptorium , lié à la présence du pouvoir épiscopal. Dans cet atelier, on assemble et surtout on copie des textes et des livres indispensables à la vie liturgique.
Le Palais de la Berbie, déformation du nom occitan Bisbia qui signifie évêché, est cette imposante forteresse qui a connu au fil des siècles diverses transformations. Il est incontestablement l'expression de la puissance temporelle et spirituelle des Evêques d'Albi.

La construction est motivée par l'Evêque Durand de Beaucaire (1228/1254). La bâtisse s'organise autour d'une salle féodale à laquelle est accolée une tour; et à l'ouest de la tour Saint-Michel destinée au tribunal et aux prisons ecclésiastiques.

Son successeur Bernard de Combret (1254-1271) accentue l'aspect de citadelle en fortifiant les anciens bâtiments.

L'Evêque Bernard de Castanet (1277-1306) ordonne la construction d'une nouvelle cathédrale, la cathédrale Sainte-Cécile et renforce le côté défensif du Palais. La tour Mage s'impose énorme donjon