En 1823, sur proposition de l'architecte Virebent, le conseil municipal prend la décision du percement des murs de séparation entre la sacristie, la chapelle Notre-Dame de Pitié et la salle capitulaire pour en faire une galerie unique. Pour augmenter la lumière dans la nef et l'assainir, toutes les fenêtres hautes du flanc nord et la grande rose de la façade occidentale sont démolies et la rose remplacée par des vitrages transparents. Les travaux réalisés alors pour l'aménagement de la salle des Antiques ont largement fait appel aux produits de ces destructions comme matériau de blocage et de fondation, comme l'ont montré les fouilles de 1976-1977. En 1831, le conseil municipal charge l'architecte Vitry de créer le " Temple des Arts" , vaste vaisseau néoclassique lourdement orné d'une voûte plein cintre en staff, monté sur un bâti et des pilotis, à l'intérieur de l'église. Les fenêtres hautes du flanc sud sont alors cassées de manière arbitraire. Visitant le chantier en 1832, le comte de Montalembert qualifia Toulouse de " patrie du vandalisme ". Le projet d'Urbain Vitry supprime le dallage et le remplace par un plancher surélevé, et suspend à la voûte gothique une voûte en berceau plein cintre, qualifiée de " voûte à la Philibert de l'Orme " !, afin de faire disparaître le caractère religieux de l'édifice. Le grand cloître est aménagé par Alexandre Du Mège pour recevoir l'essentiel de la collection médiévale qu'il avait inlassablement collectée lors des nombreuses destructions de bâtiments religieux, à Toulouse et dans sa région. Cette présentation est connue par les dessins d'Adrien Dauzats pour Les Voyages pittoresques et romantiques dans l'ancienne France de Taylor et Nodier en 1835: au nord, la galerie de la Vénus, à l'ouest celle des empereurs, au sud celle des tombeaux et à l'est celle du Moyen Âge ; leurs charpentes sont à l'occasion plafonnées, le sol dallé de marbre blanc et les supports plaqués de marbre rouge. On reconnaît là l'influence du musée des Monuments français d'Alexandre Lenoir ! Parmi les transformations les plus regrettables, citons la démolition arbitraire du réfectoire due au projet de percement de deux grandes rues rectilignes se coupant en angle droit devant le musée. Ce projet suscita une opposition très vive et devint rapidement l'enjeu d'une bataille politique où s'affrontaient les républicains, défenseurs des monuments anciens aux conservateurs qui optèrent pour la destruction en 1868, malgré les conclusions de l'inspecteur des Monuments historiques qui permettaient le classement de l'édifice. Quelques rares documents antérieurs (gravure de Séguenot, dessin de Mazzoli), montrent un vaste vaisseau de sept travées en briques, parallèle à la galerie occidentale du cloître, couvert d'un plafond plat porté par six grands arcs diaphragmes retombant sur des consoles sculptées ; entre les contreforts, des fenêtres géminées surmontées d'oculi trilobés et à l'étage, le dortoir des religieux. En 1873, le maire de Toulouse s'adressa à Viollet-Le-Duc pour achever le musée et restaurer les bâtiments existants. Un plan pour le bâtiment situé le long de la rue d'Alsace subsiste et fut partiellement réalisé par l'architecte Denis Darcy. La construction de cette aile, souvent interrompue, s'échelonna sur près de trente ans. En 1895, l'école des Arts fut transférée dans les locaux de l'ancienne manufacture des tabacs, quai de la Daurade, et l'aile méridionale du couvent fut démolie pour faire place à un jardin. En 1901, le nouveau musée était terminé.