La casa palaciega situada en la calle Madrid es conocida popularmente como “palacio del Virrey”. Probablemente, se trata de la casa de la familia Barrientos cuyo miembro más relevante para Carabaña, el capitán Diego Barrientos, está enterrado en la iglesia parroquial. Su denominación deriva del hecho de que uno de los familiares del Capitán Barrientos, el Doctor Diego Barrientos, estuvo al servicio de los virreyes de la Nueva España como gobernador de Tlaxcala (México). De ahí, el nombre del Palacio. Ilustres soldados de la familia Barrientos sirvieron a hombres notables de la historia de España como Hernán Cortés, el Duque de Alba, o Juan de Austria. Por su traza renacentista, se deduce que fue construido en el siglo XVI. Inicialmente, se trataba de un complejo de mayores dimensiones ya que ocupaba toda la manzana. Asomando una de las fachadas laterales a la calle Chávarri y otra al Camino de Orusco. Con semejantes dimensiones, el palacio original alojaba un espacio principal destinado al uso como residencia, junto a una casa de labor con patio toledano. A lo largo de los siglos la propiedad ha ido cambiando de dueños, así como lo ha hecho su fisonomía y uso. Durante la Guerra Civil se destinó como almacén de material y, tras esta, fue transformada en cárcel, siendo actualmente una residencia de ancianos. Arquitectónicamente nos hallamos ante un edificio de estilo sencillo, con fachada de una pieza en ladrillo en la que destacan el escudo nobiliario y la portada de sillares de piedra. Dos de las ventanas conservan el enrejado antiguo que se puede apreciar en otras de las casas de estilo similar, como la Casa de los Garnica, frente a la fachada este de la Iglesia de la Asunción de Nuestra Señora.
