Casi cien torres tenía Madrigal de las Altas Torres flanqueando sus murallas en la antigüedad, de las cuales hoy quedan veinte. La Muralla se comunicaba con el exterior a través de cuatro puertas. La puerta de Cantalapiedra es una de ellas y cuenta con vano apuntado. Conserva un torreón con frente agudo.

Este municipio de calles empedradas conserva el encanto de pueblo tradicional de la comarca de La Moraña.

Madrigal tiene una fuerte relación con personajes ilustres, como Isabel la Católica (aquí nació) o Fray Luís de León (fallecido aquí en 1591). En definitiva, Madrigal puede presumir de tener un encanto desde hace siglos que todavía conserva y sorprende al visitante.