O museu, inaugurado em 1903, está no segundo andar do antigo Hôtel Rohan-Guémenée, construído na Place des Vosges por Isaac Arnaud no início do século XVII. Foi neste apartamento de 280 m² que Victor Hugo e sua família viveram de 1832 a 1848.
Aqui Victor Hugo recebia regularmente a visita de Alexandre Dumas, Balzac, Chateaubriand, Lamartine, Saint-Beuve entre outros autores ilustres da época. E foi também onde o romancista e poeta escreveu obras primas como “Ruy Blas”, “Les Voix Intérieures”, “Les Chants du Crepuscule” e parte de “Les Misérables”. Em 1843 a tragédia se abateu sobre ele. Primeiramente foi a alegria do casamento de sua lida filha Leopoldine, em fevereiro, na Église Saint- Louis – Saint-Paul; pouco tempo depois, no dia 4 de setembro do mesmo ano, sua morte junto com o marido, afogados em Villequier.
Perseguido por motivos políticos, Victor Hugo teve que refugiar-se na Bélgica a partir de 1851 e viveu no exílio até 1870. Seus móveis foram leiloados e dispersos. Alguns foram adquiridos por amigos fiéis e reunidos aqui com os móveis que ele trouxera do exílio, assim restaurou-se um pouco da atmosfera original do apartamento. Além desse mobiliário e objetos pessoais do autor, é possível apreciar manuscritos originais, pinturas, esculturas, caricaturas, fotos e obras que tem a ver com sua vida, muitas delas doadas pelo amigo e admirador Paul Meurice. A biblioteca dispõe de importantes obras de pesquisa sobre Victor Hugo.
Este museu foi precursor em matéria de acessibilidade para deficientes físicos e auditivos.