Tiene cabecera mudéjar con doble ábside. El central, sin zócalo y tres fajas de arcos doblados superpuestos: en la última se ha cambiado el eje y las arquerías apoyan en la clave de los arcos inferiores.

La iglesia de Santa María del Castillo se asienta en el promontorio donde debió existir el antiguo castillo de Madrigal.

En origen, fue iglesia románico-mudéjar de tres naves y tres ábsides, pero fue torpemente rehecha en el siglo XVIII, quedándose reducida a una sola nave.

De lo original, que es sin duda lo más valioso, quedan dos ábsides, el principal y el del Evangelio, pertenecientes al "Modelo mudéjar de Tierra de Pinares", el muro contiguo del lado norte y el cuerpo inferior de la torre. Lo demás es del siglo XVIII.

En uno de los ábsides aparecieron en los años 60 pinturas románicas murales.