Esta fortificación musulmana,cuyo origen se remonta al siglo VIII defendia la entrada de la ciudad desde el puente sobre el rio Henares.
Durante la Edad Media fue residencia de reyes y sede de las Cortes Castellanas.
En el siglo XVIII fue ocupado por la Real Fábrica de Paños.Gracias a los paneles interpretativos de su interior el visitante puede conocer el devenir histórico de este edificio.
Fue nombrado monumento BIC en el año 1949.