Autrefois installés extra muros dans l'insalubre faubourg Matabiau, les ermites de saint Augustin obtinrent en 1309 l'autorisation du pape Clément V de construire leur couvent à l'intérieur des murs de la cité. Dès lors, l'expansion et l'influence du couvent se révéleront extrêmement importantes. En 1396, le cloître est achevé. Mis à mal par l'incendie de 1463, l'ensemble architectural ne sera terminé par manque de fonds qu'en 1504, date de la consécration de l'église. Cette date ouvre aussi une période de difficultés où les religieux se voient acculés à des aménagements plus ou moins importants qui vont progressivement altérer l'ordonnance originelle des bâtiments.