Siguiendo la propuesta del arquitecto Virebent, en 1823, el consejo municipal adopta la decisión de perforar los muros que separan la sacristía, la capilla de Nuestra Señora de la Piedad y la sala capitular, con el fin de realizar una galería única. Para sanear la nave y dotarla de mayor luminosidad, las ventanas superiores del flanco norte son demolidas y el rosetón de la fachada occidental se ve sustituido por unos vitrales transparentes. Como lo han demostrado ciertas excavaciones realizadas con posterioridad (1976-1977), los cascojos y escombros, producto de estas demoliciones, sirvieron de cimientos para las obras que paralelamente se estaban realizando en la sala de Arte Antiguo. En 1831, el consejo municipal encarga al arquitecto Vitry, la creación del llamado: “Templo de las Artes”. Se trata de una gran nave neoclásica, dotada de una bóveda en estuco, sostenida por una armadura y unos pilares, en el interior de la iglesia. Durante la realización de este proyecto, las ventanas superiores del flanco sur, son destruidas de manera arbitraria. En 1831 el conde de Montalembert visitando las obras, califica a Toulouse como “patria del vandalismo”. Urbain Vitry suprime las baldosas, sustituyendolas por un techo realzado. A la bóveda gótica existente le añade una bóveda de cañon de medio punto, calificada como “bóveda al estilo Philibert de l'Orme”, todo ello con el fin de borrar aquello que pudiera imprimir un caracter religioso al edificio. Alexandre du Mège habilita el gran claustro, con la idea de instalar allí los elementos principales de la colección medieval, recaudados por él con ocasión de las demoliciones de los edificios religiosos en Toulouse y sus alrededores. Esta disposición se halla plasmada en los dibujos realizados por Adrien Dauzats para ilustrar Les voyages pittoresques et romantiques dans l'ancienne France de Taylor y Nodier (1835): al norte se encuentra la galería de Venus, al oeste la de los emperadores, al sur la de las tumbas y al este la de la Edad Media. Tienen, a veces la armadura techada, el suelo abaldosado en mármol blanco y los soportes chapados en mármol rojo. Se percibe claramente la influencia de los monumentos franceses de Alexandre Lenoir. Entre las transformaciones más desafortunadas, cabe mencionar la demolición arbitraria del refectorio, con vistas a realizar dos grandes calles rectilíneas que se corten en un ángulo recto frente al museo. Este proyecto suscitó una viva oposición llegando a tomar ciertos tintes políticos. Por una parte se hallaban los republicanos, defensores de los monumentos antiguos, y por otra, los conservadores. Ganaron éstos últimos y optaron por la demolición del edificio en 1868 a pesar de que, según el inspector de Monumentos históricos, el edificio era considerado de interés artístico. Algunos escasos documentos de la época (grabado de Séguenot, dibujo de Mazzoli), nos muestran una gran nave cruzada por siete nervaduras de ladrillo, paralela a la galería occidental del claustro y cubierta por un techo plano atravesado por seis grandes arcos diafragma, sustentados en unas ménsulas esculpidas. Se muestran también los parapetos de las ajimeces coronadas de óculos en trilóbulo y en el piso de arriba, el dormitorio de los monjes. En 1873, el alcalde de Toulouse confía a Viollet-Le-Duc la tarea de terminar con las obras del museo y de restaurar los edificios restantes. Subsiste aún el plano del edificio que se situaba a lo largo de la calle Alsace Lorraine y que resultó en parte, realizado por Denis Darcy. La construcción de este ala con frecuencia interrumpida, se prolongó durante cerca de treinta años. En 1895, la escuela de Arte se mudó a la antigua manufactura de tabaco sobre el quai de la Daurade y el ala meridional del convento fue substituida por un jardín. En 1901, el nuevo museo quedaba finalizado.