O palácio está ligado à história da abadia de Saint-Germain-des-Prés, mas pouco resta de seu passado e da função que desempenhava. Depois de uma autorização emitida pelo Grande Conselho em agosto de 1698, o cardeal Guillaume-Egon de Furstenberg, ordenou a primeira reforma. Outra foi decidida pelo conde de Clermont, abade de Saint-Germain, e foi realizada entre 1737 e 1741 pelo arquiteto Jacques Hardouin-Mansart de Sagonne. Nos anos 1970 o palácio sofreu outra intervenção.
A rue de Furstenberg e a rue Cardinale estão na área que pertencia ao pátio principal e o edifício onde está o meuseu Delacroix corresponde às cavalariças do palácio. Grande parte do edifício é atualmente ocupada pela Faculdade de Educação do Instituto Católico de Paris, que foi fundado em 1875.