O Museu do Luxembourg se resumia inicialmente a uma galeria instalada numa ala do palácio do Luxembourg, construído entre 1615 e 1630 para Marie de Médicis. Em 1750 foi franqueado o acesso para o público com a exposição “Os Quadros do Rei”. Surgiu assim o primeiro importante museu francês, antecipando a criação do Museu do Louvre em 1793. Os visitantes podiam admirar 13 telas de Rubens encomendadas por Marie de Médicis representando sua biografia, e cerca de cem quadros pertencentes ao Gabinete do Rei, realizados por grandes pintores como Leonardo da Vinci, Rafael, Veronése, Ticiano, Poussin, Van Dyck ou Rembrandt.
Em 1815, com a derrota de Napoleão na batalha de Waterloo e a queda do Primeiro Imperio, muitos quadros expostos no Museu do Louvre, obtidos através de pilhagens durante as guerras napoleônicas, tiveram que ser restituídos. As obras do Museu do Louxemboug foram então transferidas para o Louvre. Tendo ficado sem os seus quadros, o museu decidiu, em 1818, expor obras de artistas vivos, isto é, arte contemporânea produzida por mestres como David (1748-1825), Girodet (1767-1824), d'Ingres (1780-1867), Delacroix (1798-1863) e outros.
Em 1879 o Senado assumiu o Palácio e o Jardim do Luxembourg e entre 1884 e 1886 foi construído o edifício atual do museu. A mostra da coleção Caillebotte permitiu que obras dos impressionistas como Manet, Renoir, Sisley, Pissarro, Monet ou Cézanne fossem expostas por primeira vez num museu nacional. Essa coleção está desde 1986 no Musée d’Orsay.
O Museu do Luxembourg fechou as portas em 1937, quando foi inaugurado o musée national d'art moderne - Museu Nacional de Arte Moderna, no Palais de Tokyo, e só reabriu em 1979. Em 2010 o Senado delegou a direção do museu para o órgão especializado, Reunion des musées nacionaux, que passou a organizar exposições de grande projeção. Desde então várias mostras com grande sucesso de público têm se sucedido: Botticelli, Rafael, Ticiano, Arcimboldo, Veronese, Gauguin, Matisse, Vlaminck, Modigliani e outros grandes mestres consagrados.