Está situado a un lado de la plaza y era la residencia habitual de los prelados abulenses cuando se desplazaban a la villa.

Su origen se remonta al siglo XII, pero a partir del siglo XIV fue objeto de importantes reformas y labores de mantenimiento. También en el siglo XVI se le realizaron reformas.

La fortaleza tiene tres cubos en la parte norte y una gran torre de planta rectangular, la llamada torre mocha, con matacanes y ventanas de arco semicircular.

Las habitaciones y dependencias del castillo se distribuían alrededor del patio y en algunas de ellas son visibles todavía restos de los antiquísimos frescos policromados que las decoraban, dividiendo el lienzo en bandas superpuestas que presentaban escenas de torneos y luchas de hombres y animales fantásticos.

Las pinturas de la planta baja se componen de un zócalo en rojo dividido en cuarterones con motivos geométricos y vegetales, a excepción de un caballero con escudo de barras de inspiración múdejar , y por encima las siguientes escenas: dos mujeres conversando, dos hombres con vestidos típicos del siglo XVI, dos caballeros en un torneo, un centauro ...

Se conservan las puertas falsas de arco de medio punto, muy restauradas, que eran utilizadas en caso de peligro. La torre del homenaje, de modestas proporciones, es la parte mejor conservada, con planta baja de cubierta plana con decoración pictórica en las paredes.