L’alqueria andalusina de Bolbaite disposava d’un castell-refugi de tapiera, amb torre quadrangular i albacar o recinte annex, construït en el segle XII i rendit en el XIII a les tropes de Jaume I d’Aragó. Durant els segles XIII al XV va ser fortalesa de caràcter feudal, residència de l’alcaid o representant del senyor i magatzem per a la part de les collites que aquest rebia dels vassalls musulmans. A més, acomplia un paper estratègic durant les guerres contra Castella (dècada de 1360, 1429-1430), que van obligar a reforçar-lo amb torres de carreus i altres elements.
La transformació de l’alcàsser islàmic de Bu-l-bàitar en castell gòtic degué coincidir amb la primera Guerra de Castella, pels anys 1357-1364. Es van alçar noves torres i es va reforçar el mur perimetral amb paraments de carreus. A més, es va tancar el pati i se’l va dotar d’escala (reemplaçada després per la del 1500), i es van construir dos nivells amb estances a la torre mestra i l’ala est, per a magatzems i habitació dels senyors i de l’alcaid. També es va disposar una capella (precedent de la de 1500), que va estar en ús fins a 1384, quan el bisbe va decretar que els pocs cristians del lloc baixaren a oir missa a Chella. El detallat inventari de 1417 refereix l’existència d’un celler amb almàssera, almàssera, dormitori d’escuders, sala senyorial, forn i cuina; torre major amb calabós baix i sala noble dalt, i cambra i recambra a les golfes. Fora de la torre major, un porxo i l’habitació del porxo. Protegia l’accés al recinte superior la torre Ferrissa, amb la porta folrada de ferro (ferrissa vol dir ‘de ferro’ en valencià), graner baix i armes de foc en la “cambra d’amunt”.
Aquest inventari el va manar fer na Maria d’Urries i de Vilaragut, que acabava d’enviduar de Pere Marrades, el senyor. Albergava la fortalesa un ric mobiliari, decoració tèxtil, obres d’art i armes variades. El document defineix els Marrades de Bolbaite com un llinatge de cavallers croats, proveïts de ballestes, cavalls, escales, taules de campanya, etc. per a guerrejar des de Castella contra Granada, al servei de Ferran I de Trastàmara. L’alcaid, els escuders i molts dels objectes del castell eren d’origen castellà. Els Marrades, cavallers de València, gent de ciutat, conservaven no obstant això la inclinació pels ornaments heràldics i per la tradició cavalleresca de la plena edat mitjana.
En l’últim quart del segle XV i la primera meitat del XVI van ser amos de Bolbaite els Cabanyelles/Vila-rasa, governadors del regne de València, després d’haver-lo adquirit en 1475, de Martí Fabra, Lluís I de Cabanyelles, àlies Vila-rasa. Aquest i el seu fill i successor, Lluís II de Vila-rasa i Gallac, senyor de Bolbaite de 1503 a 1524, van reformar en estil gòtic i renaixentista el castell-palau en dues fases (1475-1490 i 1503-1510). En la primera, es va reemplaçar l’escala gòtica del pati per una altra del mateix estil, però més espectacular; es va pavimentar; es va dissenyar una capritxosa escala de caragol per a pujar als nivells alts de la torre mestra i es van cegar arcs gòtics. En la segona fase, en què va intervindre el prestigiós mestre d’algeps xativí Lluís Munyós, es van dissenyar portes de guixeria gòtica, sostres de revoltons policromats a l’estil romà (renaixentista), voltes amb petxines i motius a candelieri, etc. D’aquest temps és la decoració de la capella i el brocal instal·lat sobre l’antic aljub islàmic.
L’absentisme dels posteriors senyors de la baronia, en els segles XVI al XIX, va contribuir a la deterioració d’un edifici danyat pel diluvi de 1864 i venut pels hereus del marqués de Manfredi a un terratinent en 1868. Un segon burgés el va adquirir en 1876 per a desmantellar-lo i vendre’l a peces. En 1896, pràcticament no quedava res dret. Des d’aquell moment i durant tot el segle XX, erudits locals i historiadors de l’art van lamentar l’espoli del palau i el seu estat de ruïna. La situació es va allargar fins a principi d’aquest segle, quan l’Ajuntament de Bolbaite va iniciar l’àrdua tasca de planejar intervencions de consolidació de murs, excavacions arqueològiques i mostres museogràfiques que tornen a l’edifici històric un gran valor com a monument sense parell a la comarca, i com a recurs turístic.
Destaca en particular l’adequació d’una de les sales del castell-palau com a centre d’interpretació. En realitat, es tracta d’un preciós museu, que exhibeix els tresors de pedra, guix, ceràmica… recuperats en les obres de rehabilitació, i que explica divulgativament la importància historicoartística de l’immoble.