La ermita de Santa Ana se llamó de la bandera por haberse guardado en ella una bandera estandarte que Jerónimo Gómez de Sandoval, señor de la villa, ganó en combate a los franceses en 1641.
En 1808 los franceses rescataron la bandera y destruyeron la ermita.