Situado en la colina más elevada de la ciudad, fueron los romanos en el siglo III los que lavantaron una edificación que a lo largo de la historia ha sufrido múltiples reconstrucciones. Durante los reinados de Alfonso VI y Alfonso X el Sabio, fue reconstruido dando origen al primer alcázar de planta cuadrada y flanqueado por torres en sus ángulos. En el siglo XVI, Alonso de Covarrubias inicia su reconstrucción por orden de Carlos V, interviniendo en dicha reconstrucción otros arquitectos como Villalpando y Juan de Herrera. Esto explica las desigualdades en estilo y época de las fachadas. A lo largo de su historia ha sido arrasado por las llamas en varias ocasiones, y su última reconstrucción tuvo lugar tras la Guerra Civil. En la actualidad alberga la Biblioteca Regional y parte del Museo del Ejército.