Inicialmente, el exigüo convento de los ermitaños de San Agustín se hallaba ubicado en los suburbios de Matabiau, próximo al foso de la ciudad, motivo por el cuál resultaba particularmente insalubre y pestilento. Nunca se ha llegado a conocer su emplazamiento exacto. En el momento de su traspaso a la abadía de Bonnefont, en enero de 1309, los ermitaños solicitan una autorización al papa Clemente V, con la finalidad de comprar unos terrenos en el interior de la ciudad y así construir un nuevo convento. Bajo el patronazgo del obispo de Toulouse, Gailhard de Pressac, se obtiene una autorización sancionada por un acta notarial con fecha del 28 de octubre de 1310. La existencia de tres casas construidas en esos terrenos y ciertas cuestiones de orden litúrgico, serán los motivos esgrimidos por el preboste y el capítulo de la catedral de Saint Étienne para justificar un proceso litigioso que ha de durar diecisiete años y terminar amigablemente. De este modo, los agustinos se comprometen a pagar una suma de 3 500 libras tornesas por el valor de las casas así como un derecho parroquial anual de 2 florines de oro. Este problema, no frena a los ermitaños, quienes, una vez adquiridos los terrenos comienzan la construcción de la cabecera de la iglesia con la participación de Jean de Lobres, maestro de obra de Saint Étienne. La cabecera, originalmente concebida como una capilla mayor flanqueada por dos capillas al norte y dos al sur, abiertas sobre la nave de crucero, fue modificada hacia 1317. La opción aplicada fue la de una cabecera con sólo tres capillas que daban directamente sobre la gran nave única, con unos ángulos cortados en la parte alta, característico de lo que hoy en día se ha dado en llamar, el estilo gótico meridional. Al final del proceso, en mayo de 1317, los agustinos disponen de la totalidad del terreno para erigir su iglesia. Inician la construcción del ala oriental y de los distintos edificios que enmarcan el futuro claustro. Según las crónicas del padre Simplicien Saint Martin, durante el siglo XVII, el obispo Gailhard de Pressac hace donación a los agustinos de la capilla Nuestra Señora de la Piedad. Las obras fueron llevadas a cabo con rapidez. Ya en 1341, el prior Guillermo de Cremona reunió en el convento de Toulouse un capítulo general de la orden, prueba del estado avanzado de las obras.