A área ocupada pelo Cimetière du Montparnasse pertenceu no passado a três propriedades rurais. No século XVII, o terreno foi transformado em necrópole dos religiosos de Saint-Jean-de-Dieu. No início do século XIX, Nicolas Frochot, prefeito do Sena, comprou essa área situada fora da cidade para abrir um dos três cemitérios extra-muros de Paris. O primeiro enterro ocorreu em 25 de julho de 1824.
Ainda existe no cemitério a torre de um dos muitos moinhos de farinha espalhados pelos distritos do Parc de Montsouris e Montparnasse, classificada como monumento histórico por decreto de 2 de novembro de 1931. Com 19 hectares, segunda necrópole de Paris, também é um dos mais importantes espaços verdes, com mais de 1.200 árvores, entre tílias, sophoras, cedros, freixos e coníferas.
Os restos mortais de muitas figuras ilustres da elite intelectual e artística da França estão enterrados no cemitério de Montparnasse. Uma lista indicando a posição de alguns dos túmulos mais procurados é fornecida ao visitante mediante solicitação. Na maioria são túmulos discretos e baixos distribuídos por áreas verdes e floridas. Entre os que atraem mais visitantes estão o poeta Charles Baudelaire; o escritor argentino Julio Cortazar; o cantor e compositor Serge Gainsbourg; o filósofo, escritor e crítico Jean-Paul Sartre e a escritora, filósofa existencialista e militante feminista Simone de Beauvoir.
Apesar dos longos anos de relacionamento, Simone de Bouvoir e Jean-Paul Sartre nunca moraram juntos. Quando ele morreu, Simone escreveu o livro A Cerimônia do Adeus, que termina com estas palavras: “Sua morte nos separa. Minha morte não nos reunirá. É assim; já é lindo que nossas vidas tenham sido capazes de se unir por tanto tempo”. Os restos mortais do casal repousam lado a lado no cemitério de Montparnasse.