Desde o século IX, existiu uma capela dedicada a Saint-Medard construída ao lado da estrada romana que levava de Lutecia a Lyon, mas foi durante o século XV que iniciou-se a construção da igreja que vemos hoje e que teve as obras finalizadas apenas no século XVIII. Devido às guerras religiosas entre protestantes e católicos as obras foram congeladas em 1561. A partir de 1655, a igreja ficou sob a responsabilidade dos monges da abadia de Sainte-Geneviève.
Durante a Revolução Francesa, a igreja foi fechada, o culto foi abolido em 1793 e autorizado novamente por decreto em 1795. Depois da separação entre a igreja e o Estado, o edifício é propriedade da Cidade de Paris, que o cedeu para o culto católico.
A partir das três primeiras galerias sobre os arcos da nave gótica do fim do século XV, há um coro do século XVI, reconstruído no século XVII e novamente no século XVIII, coberto por um teto de madeira, único em Paris, que de início era temporário, mas acabou sendo mantido.
A igreja é decorada com muitas obras de arte e possue dois grandes órgãos, o mais antigo, localizado sob a porta principal da tribuna, tem uma caixa de 1645, obra de Germain Pillon, e foi restaurado em 1767 por François-Henri-Clicquot. A parte instrumental é de autoria de Stolz & Frères (1880). Esse órgão está classificado como monumento histórico desde 1980. O segundo órgão da igreja, um Roethinger, foi construído em 1964 e está localizado numa capela lateral ao coro.
A paróquia foi frequentada por muitos adeptos do Jansenismo, inclusive por Pierre Nicole, enterrado na própria igreja de Saint-Médard, além do diácono e teólogo François de Pâris. O túmulo deste último, localizado no pequeno cemitério junto à igreja, atraía muitos peregrinos em busca de experiências místicas, curas e milagres. Junto ao seu túmulo urgiu a seita religiosa que deu origem ao épisode des convulsionnaires de Saint-Médard, episódio dos convulsionários.
O nome tem origem no termo médico convulsão e convulsionários - convulsionnaires, eram aqueles que durante transes místico-religiosos sofriam impressionantes convulsões e outra manifestações inquietantes. Em 1732, para barrar este movimento, o Rei decidiu interditar o acesso ao cemitério, o que levou um anônimo a pôr um aviso no portão que dizia: De par le Roi, défense à Dieu de faire miracle en ce lieu (Por ordem do Rei, Deus está proibido de realizar milagres neste local).