Construido por Bartolomé Núñez Dávila en el siglo XVI. Defendía la puerta del rastro de la muralla urbana de Ávila.

Está formado por 4 construcciones con la misma estructura que la muralla. Sobre sus puertas sobresalen barbacanas, es el único palacio que queda con la estructura que debieron tener el resto de palacios que se construyeron en la capital es el mejor ejemplo de palacio medieval que se conserva en ávila.

La construcción nos muestra un carácter defensivo y militar.

Destaca una ventana renaciente que abrió Pedro Dávila en 1541,cuenta la leyenda que este se enfrentó al concejo de Ávila al abrir en su propiedad una puerta particular de acceso a la muralla situada en el lienzo sur en el paseo de rastro; el concejo obligó a Don Pedro Dávila a tapiarla y quedando tocado en su orgullo abrió una nueva puerta esta vez intramuros y contigua a la puerta principal del palacio con la leyenda inscrita bajo ella "cuando una puerta se cierra otra se abre".