La date exacte de la construction de l’abbaye reste inconnue, mais l’abbaye de Saint-Ferme été déjà fondée au XIème siècle et été dirigée par des moines noirs.
En 1080, la discipline étant relâchée au monastère, l’évêque de Bazas fit don de l’abbaye Saint-Ferme aux religieux de l’abbaye de Saint-Florent de Saumur afin de ramener les moines à la stricte règle de Saint-Benoît.
Aux XIIIème et XIVème siècles, l’abbaye est prospère et devient le centre d’une grande activité sous la domination anglaise.
Pierre Ier, abbé de Saint-Ferme, fut l’homme de confiance des anglais et fonda à leur demande la bastide de Sauveterre-de-Guyenne.
La Guerre de Cent Ans amena l’abbaye à se fortifier.
Mais ce sont les guerres de religions qui détruisirent et ruinèrent une grosse partie du monastère.
L’attaque de 1586 détruisit une bonne partie de l’église et des bâtiments conventuels.
Restaurée, l’abbaye fut de nouveau attaquée en 1615.
De nouveau détruite, l’abbaye du se reconstruire une nouvelle fois sous l’impulsion de l’abbé De Lalanne qui consacra sa fortune personnelle et les ressources du monastère à sa réparation.
L’abbaye mutilée et ruinée n’étant plus apte à une vie monastique et les moines étant de moins en moins nombreux, elle fut finalement supprimée le 10 Août 1770.
Située sur la voie de Vezelay, l’abbaye recevait aussi les pèlerins de Saint-Jacques de Compostelle.
Actuellement, et ce depuis la Révolution, une partie de l’abbaye appartient à la commune de Saint-Ferme, le reste de l’ensemble des bâtiments est privé.
