Cuando en 1856 Baldomero Espartero se retiró de la política, cambió la ajetreada vida en la capital del reino por una existencia más tranquila en el palacio que su esposa tenía en Logroño. El caserón, en la plaza de San Agustín, que hoy cobija las ricas colecciones del Museo de La Rioja, fue la residencia del insigne militar, político y regente de España hasta su muerte en 1879. Desde su actual estatus museístico, el edificio guarda vecindad con otros inmuebles no menos señoriales, como la antigua sede de Correos, reconvertida en hotel, o la antigua Tabacalera, actual biblioteca y sede del Parlamento regional. Los muros de la que fue morada del general y de su ilustre esposa, la duquesa de la Victoria, atesoran una importante parte de la historia de la ciudad.

El palacio fue construido en 1752 para convertirse en residencia de Pedro Ruiz de la Porta, regidor de Logroño. Al no tener herederos, el palacio pasó a manos de la familia de Jacinta Martínez de Sicilia, esposa del general Joaquín Baldomero Espartero. En aquella etapa el edificio contaba con un vestíbulo ricamente ornamentado, comedores, biblioteca, sala de billar, salas de invitados...

De nuevo, la falta de herederos directos llevó a la familia de Jacinta Martínez de Sicilia a arrendar el palacio al Gobierno Militar en 1881. Un año más tarde, se propuso utilizarlo como sede episcopal. La iglesia se hizo con el inmueble en 1884 y lo restauró, bajo la dirección de Luis Barrón.

Obispado fallido. El cambio más significativo del proyecto se centraba en la fachada, con el cambio del escudo nobiliario original por el del obispo, que no llegó a tallarse. El traslado obispal no se produjo nunca. 

A partir de 1900 se sucedieron los usos: una caja de ahorros, la Casa Cuna, la Cámara de Comercio...El palacio presidía una pequeña plaza, cerrada al norte por el convento de las Agustinas y la antigua parroquia de San Pedro de los Lirios. En 1918, se derribó el convento y se abrió la Plaza de San Agustín. 

En 1932 se planteó ubicar en el edificio el Archivo Histórico Provincial, aunque el proyecto fue desechado. Ese mismo año se inauguró la sede de Correos en el solar que había dejado el convento. En 1963 el edificio encontraba su uso definitivo. El Museo abría sus puertas en 1971 y en 2004 se cerraba para su restauración. Los muros presentaban muy mal estado y se propuso el vaciado, una idea que no prosperó. En 2013, tras una década con el candado puesto, el Museo reabría para dar a conocer buena parte de la historia logroñesa y riojana.