Antaño instalados extramuros, en el insalubre barrio de Matabiau, los ermitaños de San Agustín obtuvieron en 1309 la autorización del papa Clemente V para construir su convento dentro de los muros de la ciudad. Desde entonces, la expansión y la influencia del convento fueron extremadamente importantes. En 1396 queda acabado el claustro. Afectado por el incendio de 1463, el conjunto arquitectónico no será terminado por falta de fondos, hasta 1504, fecha de la consagración de la iglesia. A partir de entonces, se inicia un periodo de dificultades, durante el cual los religiosos se ven obligados a realizar remodelaciones más o menos importantes que van alterando progresivamente la disposición original del conjunto.