Em 1.683, com dois sócios, o arquiteto Liberal Bruant comprou uma grande parcela de terra na rue de la Perle e a dividiu em lotes nos quais ergueu aristocráticas moradias que depois foram vendidas. Num dos terrenos ele construiu o seu próprio palácio, que ficou conhecido como Hotel Liberal Bruant. A obra é expressão do estilo neoclássico francês, com a fachada voltada para o pátio, serie de grandes janelas retangulares com arcos, intercaladas com janelas menores encimadas por nichos com bustos de imperadores romanos e um grande frontão com cornucópias e dois anjos.
Após a morte do arquiteto, em 1697, o palácio teve vários moradores ilustres, entre eles o grande matemático François Antoine de l'Hospital, membro da Academia de Ciências e o engenheiro Jean-Rodolphe Perronet que ali instalou, entre 1771 e 1778, a primeira École nationale des ponts et chaussées (Escola nacional de pontes e calçadas). A seguir o edifício passou a ser ocupado por ateliês e escritórios, tendo sofrido muito desgaste no curso do século XIX. Durante um período tornou-se propriedade da cidade de Paris e depois foi vendido a uma empresa que fabricava fechaduras, a société Bricard, sob a condição que o restaurasse e nele instalasse um museu da fechadura. O Musée de la Serrure efetivamente existiu entre 1976 e 2003. Atualmente o palácio abriga um centro de arte contemporâneo.