Desde o século IX, existiu uma capela dedicada a Saint-Medard construída ao lado da estrada romana que levava de Lutecia (Paris) a Lyon, mas foi durante o século XV que se iniciou a construção da igreja que vemos hoje e que teve as obras finalizadas apenas no século XVIII. Devido às guerras religiosas entre protestantes e católicos as obras foram paralizadas em 1561. A partir de 1655, a igreja ficou sob a responsabilidade dos monges da abadia de Sainte-Geneviève.
Durante a Revolução Francesa, a igreja foi fechada, o culto foi abolido em 1793 e autorizado novamente por decreto em 1795. Depois da separação entre a igreja e o Estado, o edifício tornou-se propriedade da Cidade de Paris, que o cedeu para o culto católico.
A partir das três primeiras galerias sobre os arcos da nave gótica do fim do século XV, há um coro do século XVI, reconstruído no século XVII e novamente no século XVIII, coberto por um teto de madeira, único em Paris, que de início era temporário, mas acabou sendo mantido.
A igreja é decorada com muitas obras de arte e possue dois grandes órgãos, o mais antigo, localizado sob a porta principal da tribuna, tem uma caixa de 1645, obra de Germain Pillon, e foi restaurado em 1767 por François-Henri-Clicquot. A parte instrumental é de autoria de Stolz & Frères (1880). Esse órgão está classificado como monumento histórico desde 1980. O segundo órgão da igreja, um Roethinger, foi construído em 1964 e está localizado numa capela.
A paróquia foi frequentada por muitos adeptos do Jansenismo, inclusive por Pierre Nicole, enterrado na própria igreja de Saint-Médard, além do diácono e teólogo François de Pâris. O túmulo deste último, localizado no pequeno cemitério junto à igreja, atraía muitos peregrinos em busca de experiências místicas e curas milagrosas. Junto ao seu túmulo surgiu a seita religiosa que deu origem ao episódio dos convulsionários de Saint Medard.
O nome tem origem no termo médico convulsão e convulsionários (convulsionnaires) eram aqueles que durante transes místico-religiosos sofriam impressionantes convulsões e outras manifestações inquietantes. Em 1732, para barrar este movimento, o Rei decidiu interditar o acesso ao cemitério, o que levou um anônimo a pôr um aviso no portão que dizia: De par le Roi, défense à Dieu de faire miracle en ce lieu (Por ordem do Rei, Deus está proibido de realizar milagres neste local).