El Castillo de La Adrada puede datarse en el siglo XIV, cuando Rui López Dávalos decidió fortificar una iglesia que estaba construida sobre una colina a las afueras de la población.
Residencia palaciega antes que bastión militar, la construcción se levanta sobre antiguas defensas musulmanas, en una zona de razias y refriegas entre moros y cristianos.
El rey Enrique III otorgó, en el siglo XIV, la villa de La Adrada al poderoso condestable Ruy López Dávalos, quien levantó el Castillo en sillería y mamposteria aprovechando una anterior fortificación, y lo convirtió en una residencia palaciega, frecuentemente utilizada por la realeza.
El Castillo es famoso por ser el escenario de los amores del rey Alfonso VI con la princesa mora Zoraida, hija de Al Mutamid, rey de Sevilla, y ha tenido otros propietarios ilustres. Además de López Dávalos lo habitaron don Álvaro de Luna, don Beltrán de la Cueva y las casas de Montijo y de Alba.
Arruinado en el siglo XIX, ha sido reconstruido en la actualidad y se ha establecido en él el centro de interpretación histórica del valle del Tiétar.