A origem da Biblioteca Nacional, ao menos simbolicamente, está ligada ao rei Carlos V o Sábio (Charles V “le Sage”), que em 1368 instalou na antiga fortaleza do Louvre uma biblioteca que reunia 917 manuscritos e outros documentos. O criado de quarto do rei, Claude Mallet, desempenhou o papel que, no futuro, corresponderia ao de um bibliotecário e fez uma espécie de catálogo: Inventoire des Livres du Roy nostre Seigneur estans au Chastel du Louvre.
Com a morte do rei Carlos VI, sucessor de Carlos V, a regência da França coube a um inglês, Duque de Bedford, que ao retornar para a Inglaterra, em 1424, levou a biblioteca. Somente um século depois, a partir do reinado de Louis XI (1461-1483), a biblioteca real passou a ser institucionalizada.
Em 1537 o rei Francisco Iº (1515-1547) instaurou a norma, válida até hoje, que obrigava os editores a doar para a biblioteca um exemplar de cada livro posto à venda no reino. As coleções reais passaram pelos palácios reais de Amboise, Blois e Fontainebleau antes de mudar definitivamente para Paris na segunda metade do século XVI. Durante o reinado de Luís XIV, quando Jean-Baptiste Colbert assumiu o controle das finanças, a biblioteca real teve enorme crescimento graças a numerosas aquisições ou doações de importantes coleções particulares e tornou-se a mais importante da Europa.
Durante a Revolução Francesa a biblioteca real passou a ser designada Nacional e foi enriquecida com inúmeras coleções confiscadas do clero, de píncipes e senhores da nobreza. Calcula-se que tenham sido recolhidos cerca de 250 mil livros e 14 mil manuscritos. Surgiu então o problema da falta de espaço para tantos livros e documentos, que começou a ser resolvido somente na segunda metade do século XIX.
Durante o reinado de Napoleão III, o arquiteto que havia construído a biblioteca de Sainte-Geneviève, Henri Labrouste, foi contratado para reformar e ampliar os edifícios que abrigavam a biblioteca. Na belíssima sala de leitura, de 1868, fica evidente o talento do arquiteto, com destaque para o uso do ferro na estrutura.