Posiblemente fuese la antigua casa fortificada de los Pamo, del siglo XV, reedificada y convertida en residencia palacial en el siglo XVII por Jerónimo Gómez de Sandoval, señor de la villa, cuyos sucesores recibirían después el título de marqueses de Fontiveros.