À l'origine, le couvent des ermites de saint Augustin, exigu, insalubre et empuanti par la proximité des fossés de la ville, était installé au faubourg Matabiau et n'a pu être précisément localisé.
Lors de son passage à l'abbaye de Bonnefont, en janvier 1309, les ermites demandèrent au pape Clément V l'autorisation d'acheter des terrains dans la cité pour y construire un nouveau couvent, autorisation sanctionnée par un acte notarié du 28 octobre 1310 sous le patronage de l'évêque de Toulouse, Gailhard de Pressac.

Arguant de la propriété de trois maisons sises sur les terrains acquis par les augustins, et invoquant des questions de liturgie, le prévôt et le chapitre de la cathédrale Saint-Étienne intentèrent alors un procès aux ermites augustins qui, dix-sept années plus tard, se termina par une convention amiable : les augustins s'engageaient à payer les trois maisons concernées 3 500 livres tournois et à verser, chaque année, un droit paroissial de 2 florins d'or.

Ce différend ne ralentit pas les ermites qui, dès l'acquisition des terrains, entreprirent la construction du chevet de leur église auquel Jean de Lobres, maître-d'oeuvre de Saint-Étienne, participa.

Le chevet, originellement conçu comme une chapelle d'axe entourée de deux chapelles au nord et deux au sud ouvrant sur un transept, fut modifié vers 1317 : le parti retenu fut celui d'un chevet à trois chapelles seulement, ouvrant directement sur la large nef unique, sans transept, avec, en partie haute, une disposition de pans coupés, aujourd'hui caractéristique de ce qu'il est convenu d'appeler le style gothique méridional.

À partir de mai 1327, à la fin du procès, les augustins purent investir la totalité de l'aire prévue pour l'église et débuter la construction de l'aile orientale et des différents bâtiments encadrant le futur cloître.



D'après la chronique du père Simplicien Saint Martin, au XVIIe siècle, l'évêque Gailhard de Pressac donna alors aux augustins la chapelle Notre-Dame de Pitié.

Les travaux furent menés à vive allure : dès 1341, le prieur Guillaume de Crémone réunissait dans le couvent de Toulouse un chapitre général de l'ordre, preuve de la bonne avancée des constructions.