Em 1619 Michel-Antoine Scarron, conselheiro do rei, comprou um antigo palácio neste local. Anos depois resolveu demoli-lo e mandou construir outro edifício baseado num projeto do arquiteto Louis Le Vau. A construção foi concluída em 1648. No mesmo ano o duque d’ Aumont o alugou e, em 1656, acabou por adquiri-lo. Foi então reformado e ampliado pelo arquiteto François Mansart, decorado por Charles Le Brun e Simon Vouet. O jardim francês foi provavelmente projetado por André Le Nôtre.
Quatro outros duques de Aumont viveram sucessivamente no hotel até 1742. Louis-Marie-Augustin d'Aumont (1709 -1782) vendeu o Hotel d'Aumont em 1756. Vários proprietários se sucederam. De 1802 a 1824, o prédio foi alugado para abrigar a prefeitura do 9º arrondissement da época. Entre 1824 e 1859, o Hôtel d'Aumont hospedou internos da vizinha escola Charlemagne. Em 1859, quando se tornou propriedade da Farmácia Central da França, o hotel passou por novas transformações: o jardim foi ocupado por barracões e os salões foram divididos em escritórios e lojas.
Em 1938 o Hôtel d'Aumont foi comprado pela prefeitura e, em 1946, foi tombado como patrimônio histórico. Em 1959 foi restaurado e ampliado por Paul Tournon, membro do Instituto, com a colaboração de Jean-Pierre Jouve, arquiteto da prefeitura de Paris, com a assistência de Jacques Dupont, inspetor geral dos monumentos históricos. O Tribunal Administrativo de Paris mudou-se para o palácio em 1959.