Iniciado hacia 1515 a expensas de Alonso Pimentel, V conde de Benavente, intervino en su construcción
el cantero García de Entrambasaguas. Se concluye en 1520. Tuvo, en su origen, carácter de fortaleza y vocación de palacio real.
El Conde también encargó la construcción de jardines y estanques que no han llegado a nuestros días.
En 1555 fue sede de Cortes, en 1559 alojó a Felipe II y en 1601 se convirtió en residencia temporal de la familia r
eal durante la estancia de la Corte de Felipe III en la ciudad. Aquí nacieron Ana Mauricia y María, hijas de Felipe III.
Conoció su mayor esplendor y extensión hacia mediados del siglo XVII, siendo propiedad del virrey de Nápoles,
don Juan Alfonso de Pimentel, conde-duque de Benavente. Después de dos devastadores incendios en los que se perdió
buena parte del edificio, este entró en desuso hasta que, ya en el siglo XVIII, se destinó al asilo de niños expósitos y,
años después, sumó a esta tarea las de sede de las Casas de Maternidad y Misericordia.
Así continuó hasta los años 70 del pasado siglo XX. Desde 1990 es sede de la Biblioteca de Castilla y León.
La planta baja se estructura en torno a dos patios; se respeta totalmente el patio renacentista y se construye
un patio en forma circular y cubierta semiesférica. En la crujía central, como resulta habitual en estos conjuntos palaciales,
se sitúa la escalera principal de comunicación, adaptándose todo el interior al nuevo uso y funciones, con materiales actuales,
hormigón prefabricado, cubiertas de cristal, elementos metálicos, etc.
La fachada principal conserva la primitiva portada de acceso, en piedra, con arco de medio punto, flanqueada
por los escudos de los Pimentel Condes-Duques de Benavente y enmarcada en alfiz.
