La ermita de Nuestra Señora de la Aldea o de Aldeavieja aparece citada en el siglo XV, en el Libro de los Veros Valores del obispado de Ávila, con el nombre de ermita de Santa María la Vieja.
Está en ruinas, cerca de la iglesia. Su primer libro de fábrica data de 1624. Era de adobe hasta que se reedificó en piedra a comienzos del siglo XVIII. Tenía arcos y columnas parecidos a los de la iglesia.
La noche del 3 al 4 de Diciembre de 1808 las tropas napoleónicas durmieron en la ermita, la quemaron y se llevaron las cosas de valor.