Il est difficile de dater précisément les étapes de construction du cloître : la galerie orientale, du côté de la salle capitulaire, devait être couverte dès 1341. Les trois galeries du sud, de l'ouest et du nord furent édifiées à partir de 1396, par le pierrier Jean Maurin qui s'engagea à les construire en harmonie avec la galerie orientale déjà existante. Jean Maurin prenait vraisemblablement la suite de son oncle Jacques Maurin, dont il avait hérité de la plupart des chantiers en 1380, et qui, à titre d'hypothèse, fut peut-être l'auteur de la galerie orientale, au début de sa carrière. La chapelle Notre-Dame de Pitié, au centre de la galerie orientale, était la salle capitulaire primitive, achevée avant 1341. Elle a été édifiée sur le modèle de celle de l'église des Jacobins : deux nefs parallèles, du nord au sud, divisées en trois travées carrées voûtées de croisées d'ogives retombant au centre de l'espace sur deux colonnes, avec, débordant vers l'orient, dans l'axe de la travée centrale, une chapelle surélevée, à chevet à pans coupés et voûtée d'ogives. Dès l'origine, elle fut instituée sous le vocable de Notre-Dame de Pitié, à la suite du don qui en avait été fait par l'évêque Gailhard de Pressac. Entre 1365 et 1378, le gouverneur du Languedoc, Louis d'Anjou, s'appropria la chapelle et en fit modifier les ouvertures sur le cloître. L'afflux des fidèles contraignit les ermites à installer une nouvelle salle capitulaire au sud, dans le même corps de bâtiments. Cet espace existait sans doute dès 1341 et devait faire partie du projet initial des religieux qui décidèrent de border la galerie orientale du cloître par deux salles d'égale importance. Le plus ancien plan du couvent que l'on conserve aujourd'hui, gravé par Joachim Séguenot en 1652, montre que dans le prolongement des travées de la chapelle Notre-Dame de Pitié et de la salle capitulaire, à l'est, il y avait une chapelle débordante. Les fouilles conduites en 1976 et 1977 mirent au jour les fondations de ces chapelles qui furent vraisemblablement construites après l'achèvement des bâtiments principaux. Elles étaient certainement achevées en 1463 car la couverture de l'une d'entre elles, la chapelle de la Conception de la Vierge, a, comme celle de la chapelle Notre-Dame de Pitié, été miraculeusement épargnée par l'incendie.