Desde 1357 o governo municipal de Paris está instalado neste local. Por ordem do rei François I, em 1533, a antiga casa foi demolida para dar lugar a um paço municipal mais suntuoso. O edifício, em estilo renascentista, só foi terminado cerca de um século depois, no reinado de Louis XIII.
O Hôtel de Ville abriga a Câmara Municipal e a Prefeitura de Paris. Em frente ao palácio está a antiga Place de Grève, na qual desde o século XIV, os parisienses se reuniam para assistir execuções de condenados. A última execução ocorreu em 1830 e depois disso a praça foi rebatizada como Place de l'Hôtel de Ville, até porque “greve” tem uma conotação que desagrada a autoridades em geral. A praça foi ampliada mais tarde dentro do projeto de reurbanização de Paris levado adiante pelo barão Haussmann.
Dramáticos episódios políticos da história da França tiveram o Hôtel de Ville como cenário: o massacre do prevot des marchands (equivalente de um prefeito) por uma multidão enfurecida, no dia 14 de julho de 1789, mesmo dia da Tomada da Bastilha, símbolo do início da Revolução Francesa; o golpe do dia 9 Termidor do Ano II da Revolução Francesa, quando Robespierre levou um tiro no queixo, foi preso e logo executado; os enfrentamentos entre a população parisiense e as autoridades e forças policiais durante a guerra franco-prussiana, que culminaram com a instauração da Comuna de Paris em 1871; o incêndio que consumiu o interior do edifício e deixou apenas as estruturas de pedra.
O Hôtel de Ville foi reconstruído de 1873 a 1892. A fachada foi refeita de acordo com o desenho renascentista original, mas o interior foi reconstruído de forma muito mais luxuosa e imponente. Mais de 100 esculturas, inúmeros murais, imensos lustres de cristal e escadarias de mármore ilustram a arte da III República.
Bertrand Delanoë, socialista e primeiro líder político francês homosexual assumido, quando era prefeito viveu no Hôtel de Ville um momento dramático. Em 2002, durante o famoso festival cultural anual denominado Nuit Blanche, parecido com a nossa Virada Cultural, Delanoë abriu o edifício ao público e acabou sendo esfaqueado.