A então residência de Joaquim José de Rodrigues Torres, o Visconde de Itaboraí, primeiro presidente da província do Rio de Janeiro e ministro do Segundo Império, servia de hospedagem para a Família Real em visita a Itaboraí. É um típico palacete do fim do século XVIII e foi tombado pelo Instituto do Patrimônio Histórico e Artístico Nacional (Iphan) em 1964 e pelo Instituto Estadual do Patrimônio Cultural (Inepac) em 1979.
Desapropriado pela Prefeitura em 1966, serviu como casa de caridade até ser destruído em um incêndio. Doado ao governo estadual, passou por obras de reconstrução e foi usado como Fórum da cidade. Em 2000, após ampla reforma, passou a ser sede da prefeitura de Itaboraí.
