Según la tradición, la ermita de Nuestra Señora del Soto se encuentra en el lugar donde se pararon los toros uncidos al carro en que un carretero transportaba la imagen de la Virgen.

Por más que el carretero insistió, los toros se negaron a seguir el camino, lo que fue interpretado como una señal para construir allí la ermita.

La ermita es un gran edificio de piedra, de cruz latina, de una nave, con dos tramos de bóveda y sobre el crucero una cúpula de media naranja.

En el hastial del poniente se encuentra la fecha de su construcción: año 1729. En la cabecera tiene un retablo barroco, de tres calles, ocupando la central una imagen mayor que el tamaño natural, de piedra caliza, sentada, con el Niño sobre el regazo y cara policromada.

En los retablos del crucero, un calvario y otra imagen de la Virgen del Soto en talla, todo del siglo XVIII, excepto las imágenes que son anteriores.

Por un lateral del retablo principal se pasa a la sacristía y, desde ella, por una escalera de granito de quince peldaños (tantos como son los misterios del Santo Rosario) se accede al camarín de la Virgen, lugar donde se encuentran algunos exvotos de los fieles.

El día de la fiesta, 8 de septiembre, se dan cita en la ermita los pueblos de Santiago, La Horcajada, Caballeros y otros para esperar a los de La Aldehuela y sus anejos que traen la imagen de la Virgen desde la iglesia parroquial. Dentro se celebra la misa. Luego hacen en procesión alrededor del santuario, delante un Cristo de talla, que llevan los hombres, y detrás la imagen de la Virgen, que llevan las mujeres, acabando con la tradicional subasta de banzos para meter la imagen en la ermita. La función religiosa acaba con el canto de la salve.

Al día siguiente repiten la fiesta para llevar después las imágenes a la iglesia parroquial, donde permanecen todo el año.

Antiguamente se representaban obras teatrales en el pórtico y se celebraban corridas de toros en el cercado de pared doble situado en el valle. Concurrían a ellas los habitantes de Piedrahíta y El Barco que, desde tiempo inmemorial, se colocaban los del primer pueblo en el cerro de la derecha y los del segundo en el de la izquierda.

Antiguamente, se celebraba también un mercado de cierta importancia, pero ya en el siglo XIX, según cuenta Madoz, había quedado reducido a dulces y frutas.