L'Eglise Saint Pierre est l'une des plus anciennes églises de France. Elle a été construite à la fin du 5e siècle et a été l'abbaye la plus importante de la ville au Moyen Age. Sa conversion en musée date de 1809, elle fut par la suite affectée à d'autres utilisations. C'est en 1872 qu'elle devint définitivement le musée lapidaire.