Los primeros datos sobre la construcción de este castillo son del siglo XII.
La primitiva fortaleza fue ampliándose progresivamente con el paso del tiempo.La mayor parte de lo que hoy podemos contemplar tiene su origen en los siglos XV y XVI.
Son las obras realizadas en el castillo medieval por Beltrán de la Cueva,primer duque de Albuquerque,su hijo Francisco y su nieto Beltrán.
Su aspecto combina los elementos de una fortaleza con los de un palacio renacentista.
El castillo tiene un sistema de accesos bastante complicado.La puerta del mediodia era la más fortificada y a su vez,mediante la liza,ayudaba a proteger la puerta norte,que era la principal para acceder desde la villa.