As origens desta igreja se perdem no tempo. Durante o reinado da dinastia merovíngia, havia aqui uma capela e um cemitério. A existência de uma igreja é documentada desde 507. Em 886, durante o cerco de Paris pelos Vikings, a basílica primitiva foi saqueada e destruída. Uma nova igreja começou a ser erguida a partir de 1160 e foi terminada por volta de 1170. Grande parte de seus elementos arquitetônicos sobrevivem no edifício que vemos hoje, parte deles em estilo românico e outros em estilo gótico. Apesar de suas modestas dimensões a obra é primorosa e as esculturas foram inspiradas na catedral de Notre-Dame, em construção na mesma época, e certamente foram executadas pelos mesmos artesãos. Saint-Germain-des-Prés, Saint-Pierre de Montmatre e Saint-Julien-le-Pauvre são, nessa ordem, as igrejas mais antigas de Paris.
Durante muitos anos, até 1525, esta igreja acolheu aulas da antiga Universidade de Paris – Université de Paris, assembleias gerais e eleições. Muitas vezes as aulas eram ministradas na rua ao lado da igreja e os estudantes sentavam-se sobre montes de palha. Supõe-se que nessa rua, conhecida como rue du Fouarre, morou em 1309, durante seu exílio, o grande poeta Dante Alighieri, autor da Divina comédia, uma das obras primas da literatura universal.
Em 1651 a igreja sofreu várias modificações e recebeu nova fachada. Com isso, o edifício perdeu alguns metros de comprimento, media 28,08 metros e passou a medir 21,28. Vestígios importantes da fachada original se encontram à esquerda da entrada atual. O historiador e arqueólogo Ferdinand de Guilhermy repertoriou mais de 150 capiteis na igreja, todos diferentes e finamente esculpidos, cerca de 100 dos quais estão no coro. O edifício tem uma nave com quatro abóbadas, dois corredores laterais, o coro e uma abside em semicírculo. Fora da igreja, do lado direito, pode-se ver a alvenaria de um poço muito antigo e uma grande pedra que pertenceu à estrada romana que ligava Lutécia (Paris na época da dominação romana) a Orléans.
Em 1889 a igreja foi cedida para a comunidade Greco-Católica Melquita de Paris e desde então as missas seguem o rito litúrgico bizantino, também conhecido como Liturgia de São João Crisóstomo. Em 1900 foi realizada uma típica iconóstase, espécie de divisória decorada com ícones instalada entre a nave e o coro.