En medio de un extenso campo de cereales se alza este castillo de aspecto militar y austero, que contiene numerosas troneras, sótanos abovedados y foso, perteneciente a la Casa de Alba.

De su nombre deducimos el pasado defensivo de su enclave, cuya traza conocida corresponde a las reformas efectuadas en el siglo XV.

Está constituido por dos recintos rectangulares construidos con argamasa de ladrillo, cal y canto. Tiene cuatro torres en sus esquinas y conserva restos de un palacio renacentista con salas abovedadas, galerías de arcos, columnas y escaleras.

Su estructura y aspecto están condicionados por la artillería, carece de torre del homenaje, sus muros son recios y se encuentra todo él dentro de un foso que dificultaba hacer blanco en sus paredes disparando desde la lejanía.

Exteriormente es una mezcla de ladrillo y tapial, pero el núcleo es un patio de granito cuyo estilo isabelino lo relaciona con el cantero Martín de Solórzano, maestro de obras de Santo Tomás.

Fue construido por Gil de Vivero, señor del lugar de San Martín de Cornejo, llamado después Castronuevo, en la década de 1470, en el contexto de la inestabilidad vivida por el problema de la sucesión del rey Enrique IV.

Gil de Vivero defendería los intereses de la princesa Isabel frente a los Pamo, aliados del duque de Béjar, titulado duque de Arévalo, defensor de los derechos de Juana la Beltraneja; que estaban construyendo al mismo tiempo una casa fuerte en Fontiveros.

En 1489 el duque de Alba compró Castronuevo a Rodrigo de Vivero en 6.200.000 maravedíes y, a partir de ese momento, se realizan nuevas obras en el castillo.