A igreja de Saint-Germain-des-Prés foi fundada no século VI pelo filho do rei Clovis I, Quildeberto, num descampado que ficava fora da cidade. Tornou-se um templo para o funeral de alguns reis da dinastia merovíngia da Nêustria, porção ocidental do Reino Franco. Ao lado foi construído um monastério beneditino e os abades tiveram jurisdição espiritual e temporal sobre o bairro de Saint-Germain até 1670. Sob proteção real, a abadia tornou-se uma das mais ricas da França. No século XI possuia um importante scriptorium, o que lhe conferiu o status de centro de intelectualidade da igreja católica durante séculos, tendo perdido essa importancia durante a Revolução Francesa.
Em 542, voltando de uma incursão na Espanha, Quildeberto levou de Saragoza uma estola do mártir Saint-Vincent – São Vicente. Quando Quildeberto retornou a Paris, ergueu uma igreja consagrada à Cruz Sagrada e a Saint-Vincent para abrigar a relíquia. Em 558, a igreja de Saint Vincent, dedicada a Germain, bispo de Paris, foi inaugurada por Childebert. Poco depois, em dezembro de 558 ele morreu e foi sepultado no monastério.
No século seguinte, durante o período da dinastia carolíngia, o corpo de Saint-Germain foi transferido para a igreja. Pilhada e incendiada pelos Normandos muitas vezes, a igreja foi reconstruída em 1012 e novamente consagrada a Saint-Germain de Paris pelo Papa Alexandre III. No século XII, o coro original da abadia foi demolido e substituído por um santuário gótico com deambulatório e capelas radiantes.
O campanário foi erguido por volta do ano mil e, certamente, é uma das mais antigas construções de Paris. No século XIX o arquiteto Baltar realizou aberturas na torre. Havia também duas torres no transceptro, hoje desaparecidas. O portal da igreja foi terminado no século XII e em 1604 foi substituído pelo portal clássico, que ainda hoje podemos ver, de autoria de Marcel Le Roy. O coro atual da igreja é um exemplo dos primeiros coros com arcobotantes, que depois teriam uso generalizado na arquitetura gótica.
Do antigo monastério sobreviveram até os dias de hoje apenas a igreja, uma das mais antigas de Paris, e o palácio abacial construído em 1586 pelo arquiteto Guillaume Marchand para o abade de então, Charles de Bourbon.
Durante a Revolução Francesa, os preciosos manuscritos da abadia foram dispersados e grande parte da coleção foi comprada pelo diplomata russo Piotr Dubrovsky. A maioria dos túmulos da realeza merovíngia foram destruídos e os relicários de prata de 1408, de Saint Germain, foram fundidos. Uma refinaria de salitre passou a funcionar na igreja, onde o exército instalou um armazém de carvão e uma fundição destinada à fabricação de armas. Em 1794, doze toneladas de salitre que estavam armazenadas no abadia provocaram uma explosão que destruiu a obra de Pierre de Montreuil, o Gabinete de Antiguidades e a biblioteca.
Os restos mortais do grande filósofo, matemático e cientista René Descartes, que morreu na Suécia no dia 11 de fevereiro de 1650, foram transladados para a França em 1657 e sepultados na Abadia de Sainte-Geneviève. Em 1819 foram transferidos para a Igreja de Saint-Germain-des-Prés e repousam numa capela lateral.
No século XIX os capitéis foram admiravelmente restaurados e merecem atenção especial. São testemunho da arte antiga e carolíngia, com cenas do Antigo e do Novo Testamento, animais monstruosos, folhagens em relevo, personagens enigmáticos e textos teológicos postos lado a lado. Restaurada recentemente, a decoração interior da igreja recuperou a extraordinária riqueza das antigas cores e douraduras.