El Castillo de Villatoro fue fundado a mediados del siglo XIV por Alfonso XI en favor del obispo don Sancho Dávila y sus descendientes en reconocimiento de su lealtad y de los servicios prestados a la Corona.

El castillo, que esta situado en el extremo oeste del Valle Amblés, defendería el paso al Valle del Corneja.

Los restos conservados se reducen a una de sus cuatro torres originales y parte de sus dos paños perimetrales. La torre tenia tres niveles unidos con otros tantos niveles inferiores del castillo mediante puerta, bajo arco dobelado de medio punto. Su perímetro de gruesos muros de sillería cuenta con troneras-buzón. La única ventana restante cuenta con alféizar de piedra.

Su valor estratégico es tal que en el Catastro de Ensenada figura que los vecinos pagan al alcaide de la fortaleza de dicha villa diez reales.

En la actualidad es una casa rural, tras haber pertenecido a la casa de los Dávila y los duques de Parcente.