El edificio fue levantado como sede y cárcel de la Santa Hermandad, organización de origen medieval, de ganaderos para proteger los caminos y los campos de bandidos y ladrones en lo que es hoy Toledo.
Los Reyes Católicos la institucionalizaron.
Quedó disuelta a finales del siglo XVIII, cuando se vendió el edificio y transformó en posada que le da el nombre.
La portada, tÃpica del gótico-mudéjar toledano, se adorna con las señas de la Hermandad: dos "cuadrilleros" o ballesteros, que flanquean al escudo de madera de los Reyes Católicos.
Es el único edificio conservado de aquella época de arquitectura civil y uso público, sin que haya tenido nunca carácter religioso.
En la actualidad, acoge un Centro Cultural Municipal y otros usos administrativos.