La vida de O Castro en la Edad Media, transcurría sin sobresaltos a la sombra de su castillo, importante fortaleza dado el lugar estratégico que tenía, en el camino de entrada a Galicia desde León. Su fortaleza del S.XV, cumplió siempre un papel de protección, siendo parada obligada de reyes que allí suscribieron documentos de valor histórico.
Posteriormente se edifica la actual Casa Fuerte-Palacio del Castro, en donde una inscripción que hay en la capilla (colocada allí en 1.914 por el entonces dueño don Alfonso Flórez Losada y Quiroga, ex-senador y diputado en Cortes) dice que fue “don Pedro de Losada y Quiroga, Canónigo copis-col de la Santa Catedral de Toledo, Obispo electo de Orihuela, Caballero de la Orden de Santiago, fundador de este solar y mayorazgo, año de 1.630″.
Más tarde pasó a manos de los Flórez , y ha permanecido en sus manos hasta nuestra época atestiguado por los escudos de armas que aparecen en la fachada principal del edificio, donde aparecen las cinco flores de lis, en oro, en campo de azur, propias de los Flórez Losada.
Los últimos moradores fueron los Marqueses de Esteva de las Delicias, título con Grandeza de España, que habitaron la Casa-Palacio hasta que se convirtió en lo que es en la actualidad, un Hotel Monumento de 4 estrellas en el que se combinan a la perfección su pasado rústico y su confortable presente.