La Puerta del Rastro es la ultima puerta en añadirse a la Muralla de Ávila, Patrimonio de la Humanidad por la UNESCO.
La muralla dispone de 9 puertas de acceso al interior del casco urbano e histórico, siendo algunas de las más importantes: La Puerta del Alcázar o del Mercado Grande, la Puerta de San Vicente, la Puerta de los Leales o del Peso de la Harina, la Puerta de Santa Teresa o la Puerta de la Mala Ventura o Mala Dicha.
La Puerta original databa del siglo XII, aunque sufrió varias modificaciones como el arco carpanel que añadió en la parte principal para cobijar a la puerta y que data del siglo XVI.
También destaca la reforma que sufrió en el siglo XVI cuando se creó el actual mirador que podemos ver hoy en día, que según cuenta una leyenda abulense tiene mucha relación con el Castillo Aunqueospese.
Una vez que salimos del Paseo del Rastro entramos en la muralla precisamente en esta puerta, cuyo nombre proviene de este paseo, aunque también es denominada también como la Puerta de Grajal o de la Estrella o de Gil González Dávila, o sencillamente de los Dávila.