Esta construido en el siglo XV. Este castillo toma el nombre del señorio de Valdecorneja y fue propiedad de la Casa de Alba. Se sitúa dominando el río y el puente, sobre el punto más elevado del valle.
 

Ocupó una situación pivilegiada dentro del feudo, quizas aprovechando restos de un fuerte anterior ubicado en este emplazamiento, ya que se construyo sobre un castro vetón destruido por los romanos.

Su importancia estratégica ha marcado la historia de sus muros con avatares memorables, tanto en épocas de vaivenes fronterizos como en acontecimientos de transcendencia sucesoria.

Tiene planta cuadrada con cubos circulares en las esquinas y garitas en medio de tres de sus lienzos, estando el cuarto ocupado en su mitad por la torre del homenaje. La superficie puede calcularse en 1.700 m2 sin tener en cuenta las dependencias desaparecidas como el foso y contrafoso, el rastrillo, el palomar, las caballerizas...

Debió contar con antemuro, foso y contrafoso, pero actualmente ha desaparecido.

Tampoco se conservan las almenas, que debieron otorgarle otro aspecto en el pasado. La fábrica es de mampostería granítica.

La puerta principal es de arco gótico con grandes dovelas. A la derecha de la puerta, se alza defendiendo dicha puerta la torre del homenaje, cuadrada, desde la cual se accede a las almenas y torreones. Desde ellos se domina todo el valle y las sierras circundantes.

Son de interes un pozo situado en el centro del patio y un aljibe abovedado y excavado en la roca del subsuelo.

En el interior del Castillo, inicialmente, existía un patio de armas con un surtidor en el centro y una galería de arcadas y columnas románicas adornadas con una bellísima crestería gótica, conservándose parte de la misma en una casa de la Plaza Mayor.

Como este castillo fue en su primera época puramente militar, al habitarle los señores de Valdecorneja, condes y duques de Alba, resultó estrecho e incómodo.

A finales del siglo XV se transformó el patio de armas en un patio de honor.

Las habitaciones de las damas estaban situadas en línea paralela a la cuesta de la Viñas. Las de los caballeros daban a la vista del puerto de Tornavacas. Todo ello en el segundo piso.

En la parte noble del Castillo se hallaba el tocador, la capilla, los comedores y el gran salón de juntas y audiencias.

Existían hermosas ventanas con ajimeces y asientos junto a otros de distintas épocas.

También existe una pequeña puerta de escape que conduce a un paraje de lomas que descienden hasta el río.

Ha sido restaurado varias veces, respetando su perímetro original, debido a las incontables batallas que ha sufrido e intentos de incendio y bombardeos.

Al iniciarse la segunda mitad del siglo XIX quedó habilitado como cementerio municipal. Por ello aumentó su deterioro al arrancar el pavimento y abrir grandes oquedades en sus muros.

Actualmente ha sido restaurado y reparado el pavimento y en parte la torre del Homenaje. Es utilizado para los actos culturales que se celebran en esta localidad.

Existe una leyenda popular que habla de un misterioso túnel que partía del Castillo, iba por debajo del Río Tormes y llegaba a la torre del Prado Cubo.