Le hameau d’al-Andalus de Bolbaite possédait un château-refuge en terre battue, avec une tour quadrangulaire et un albacar ou enceinte annexe, construit au XIIe siècle et cédé au XIIIe siècle aux troupes de Jacques Ier d’Aragon. Du XIIIe au XIVe siècle, c’était une forteresse féodale, la résidence du représentant du seigneur et un entrepôt pour la partie des récoltes qu’il recevait des vassaux musulmans. Il a également joué un rôle stratégique pendant les guerres contre la Castille (décennies 1360, 1429-1430), ce qui l’a obligé à être renforcé par des tours en pierre de taille et d’autres éléments.
La transformation de la forteresse islamique de Bu-l-Baytar en un château gothique a dû coïncider avec la première guerre de Castille, vers 1357-1364. De nouvelles tours ont été construites et le mur d’enceinte a été renforcé par des murs en pierre de taille. En outre, la cour fut fermée et pourvue d’un escalier (remplacé plus tard par l’escalier de 1500), et deux niveaux furent construits avec des pièces dans la tour principale et l’aile est pour le stockage et les logements des seigneurs et du gardien. Une chapelle fut également construite (précédant celle de 1500), qui fut utilisée jusqu’en 1384, date à laquelle l’évêque décréta que les quelques chrétiens du lieu devaient descendre à Chella pour aller à la messe. L’inventaire détaillé de 1417 mentionne l’existence d’une cave à vin avec un pressoir à vin, un pressoir à huile, un dortoir pour les écuyers, une salle seigneuriale, un four et une cuisine ; une tour principale avec un cachot en dessous et une salle noble au-dessus, et une salle et une chambre dans le grenier. À l’extérieur de la tour principale, un porche et la salle du porche. L’accès à l’enceinte supérieure était protégé par la Tour Ferrissa, avec sa porte doublée de fer (ferrissa en valencien), son grenier en dessous et ses armes à feu dans la cambra d’amunt (champre du haut).
Cet inventaire a été commandé par Madame Maria d’Urries i de Vilaragut, qui venait d’être veuve de Pere Marrades, le seigneur. La forteresse abritait une grande quantité de meubles, de décorations textiles, d’œuvres d’art et d’armes diverses. Le document définit les Marrades de Bolbaite comme une saga de chevaliers croisés, équipés d’arbalètes, de chevaux, d’échelles, de tables de campagne, etc., pour combattre depuis la Castille contre Grenade, au service de Ferdinand Ier de Trastamara. Le gouverneur, les écuyers et de nombreux objets du château étaient d’origine castillane. Les Marrades, chevaliers de Valencia, citadins, ont néanmoins conservé leur attachement aux ornements héraldiques et à la tradition chevaleresque du Moyen Âge.
Dans le dernier quart du XVe siècle et la première moitié du XVIe siècle, Bolbaite était la propriété de la famille Cabanyelles/Vila-rasa, gouverneurs du royaume de Valencia, après l’avoir acquis en 1475 de Martí Fabra, Don Lluís I de Cabanyelles, alias Vila-rasa. Lui et son fils et successeur, Lluís II de Vila-rasa i Gallac, seigneur de Bolbaite de 1503 à 1524, ont réformé le château-palais en style gothique-renaissance en deux phases (1475-1490 et 1503-1510). Dans la première phase, l’escalier gothique de la cour a été remplacé par un autre du même style, mais plus spectaculaire ; il a été pavé ; un escalier en colimaçon fantaisiste a été conçu pour monter aux niveaux supérieurs de la tour principale et les arcs gothiques ont été recouverts. Dans la deuxième phase, dans laquelle est intervenu le prestigieux mestre d’algeps (maître plâtrier) de Játiva, Lluís Munyós, des portes en plâtre gothique, des plafonds en hourdis polychromes de style « romain » (Renaissance), des voûtes avec des festons et des motifs a candelieri, etc. La décoration de la chapelle et la margelle installée sur l’ancienne citerne islamique datent de cette période.
L’absentéisme des seigneurs successifs de la baronnie, du XVIe au XIXe siècle, a contribué à la détérioration d’un bâtiment endommagé par l’inondation de 1864 et vendu par les héritiers du marquis de Manfredi à un propriétaire terrien en 1868. Un second bourgeois l’achète en 1876 pour le démonter et le vendre en pièces détachées. En 1896, il ne reste pratiquement plus rien. Dès lors et tout au long du XXe siècle, les érudits locaux et les historiens de l’art ont déploré la spoliation du palais et son état de ruine. Cette situation a duré jusqu’au début de ce siècle, lorsque la mairie de Bolbaite a entrepris la tâche ardue de planifier des interventions de consolidation des murs, des fouilles archéologiques et des expositions muséales qui ont redonné au bâtiment historique sa grande valeur en tant que monument sans égal dans la région, et en tant que ressource touristique.
L’adaptation d’une des salles du château-palais en centre d’interprétation est particulièrement remarquable. Il s’agit en fait d’un beau musée, qui expose les trésors de pierre, de plâtre, de céramique, etc. récupérés lors des travaux de réhabilitation, et qui explique de manière instructive l’importance historique et artistique du bâtiment.