L’église Saint-Jacques de Bergerac apparaît pour la première fois dans une bulle du Pape Urbain II en 1185, en tant que chapelle romane. Elle est sans doute fondée par les Bénédictins de la vallée du Caudeau, au milieu XIIe siècle. Elle abrite notamment un orgue construit en 1877, et classé aux Monuments historiques.
Le site apporte un accueil spirituel aux pèlerins se rendant à Compostelle. Un siècle plus tard, les alentours de la chapelle s’urbanisent fortement et celle-ci sert de lieu de conférences. Ceci impose un agrandissement de la chapelle, vers 1285, par l’adjonction d’un puissant corps de bâtiment. En août 1345, l’église souffre du sac de la ville par les Anglais. Plus tard, au XVIe siècle, l’essor économique permet de l’embellir, avec un clocher et un carillon de 16 cloches. En 1565, pendant les guerres de Religion, les réformés récupèrent des matériaux de l’église. En 1619, les catholiques retrouvent leur église qui est rebâtie avec une nef unique. Elle fait l’objet d’un nouvel agrandissement en 1688, par la grâce de Louis XIV, et de modifications en 1870.
L’église Saint-Jacques est inscrite aux Monuments historiques depuis 1984.