La población de los ermitaños disminuye de forma lenta pero segura. Si durante los siglos XIV y XV eran más de doscientos, en 1518 pasan a ser ciento cuarenta, sesenta en 1649, treinta y uno en 1680, quedando tan sólo unos pocos de ellos antes de la Revolución. Paralelamente, los recursos del convento disminuyen. Resulta más difícil conseguir el equilibrio entre unas condiciones de vida favorables y la disciplina propia a una comunidad religiosa. Esta congregación, por tener una importante actividad secular y universitaria, se olvida frecuentemente de las reglas y de la moral, llegando a figurar, a veces, en las crónicas jurídicas de Toulouse.

Además, desde mediados del siglo XVI, diversos acontecimientos precipitan el declive del convento. En 1542 se produce un saqueo sistemático de la biblioteca, los archivos, la ropa, los objetos litúrgicos, los muebles valiosos, los títulos y el dinero. Aunque los monjes consigan excomulgar a los ladrones, no por ello son arrestados ni restituyen los bienes hurtados.

Ocho años más tarde, el 14 de septiembre de 1550, día de la Exaltación de la Santa Cruz, cayó un rayo sobre el campanario, cuya flecha y pisos superiores fueron destruidos. El conjunto de los daños fue estimado en 5 000 libras, pero debido a las dificultades materiales y financieras, la reconstrucción resultó imposible. El campanario quedó pues, con un piso menos.

Afortunadamente, las guerras de religión preservaron el convento. Los priores y ermitaños pidieron la protección de la iglesia católica romana. Obtuvieron también el apoyo de la monarquía francesa, cuando en 1565 acogieron al rey Carlos IX en una sesión del Parlamento de los Estados del Languedoc, celebrada en el amplio refectorio del convento.



La ampliación principal consiste en un pequeño claustro que se añade al convento, cuyas obras quedan acabadas en 1626. Si bien es cierto que su decoración, a base de esculturas y pinturas, posee un verdadero encanto, este apéndice impide también una percepción global de la fachada de la iglesia y de su distribución. Sigue siendo, no obstante, uno de los más bellos lugares del convento. Con su pizca de arcaísmo renovado, refleja un discreto tinte italiano que refuerza su encanto.