Certaines des forteresses de l’Al-Andalu du massif du Caroig et de la Muela de Cortes ont peut-être existé entre le IXe et le XIe siècle, à une époque où l’abattage des pins et le transport du bois des montagnes intérieures jusqu’à Cullera étaient des activités florissantes, d’où le bois était exporté vers d’autres régions d’Al-Andalus, le Maghreb et même le delta du Nil, dépourvu d’arbres. Cependant, c’est à partir du XXIIe siècle qu’un système de château sophistiqué avec abri collectif et défense militaire s’est développé dans la région. La chute de la vallée de l’Ebre, de Cuenca et de Teruel aux mains des Castillans et des Aragonais favorise l’émergence de compagnies de chevaliers et d’Almogavars qui font des incursions à la frontière du Júcar pour piller les hameaux. C’est la raison de la présence défensive, en face de Millares, occupant un rocher nu, à 310 m d’altitude, de la fortification de Al-Andalus connue sous le nom hypocoristique de Castillet, construite avec la technique du pisé (tâbiya, coffrage) sur un socle de maçonnerie.
C’est au cours de la période 1172-1240, en coordination avec le califat almohade, qui dominait alors la Péninsule ibérique, que le nombre de châteaux de différents types et de tours avec albacar ou enceinte annexe s’est multiplié dans la région. Les architectes Javier Hidalgo et Ignacio Matoses ont identifié jusqu’à 15 forteresses de Al-Andalus sur les deux rives de la rivière Júcar, de Cofrentes à Tous. Quatre d’entre eux correspondent à Millares : Cavas, el Castillet, el Corraliquio l’Antón et le Castillo del Medio, presque disparu, dans le village (dont une partie du mur en pisé est conservée dans la rue del Castillet). Mais ce dernier pourrait bien être la maison du seigneur, avec une tour, un enclos et la maison du gouverneur, construite au XIIIe siècle par les premiers seigneurs féodaux pour remplacer le Castillet. La construction ultérieure du palais de los Bou sur la place (XVIe siècle) aurait précipité son abandon et sa ruine. Cependant, c’est le dénommé Castillet ou Castillo de Abajo, celui qui se trouve sur le rocher d’en face et non celui du village, qui a conservé pendant des siècles le nom de « Château de Millares » par excellence, comme l’indique la documentation médiévale.
Le périmètre muraillé de l’édifice islamique reste intact, bien qu’il soit très usé par les effondrements, à l’exception de la tour principale, de forme rectangulaire et orientée vers le soleil de midi, dont la silhouette se détache du reste des murs. La muraille a un périmètre irrégulier, avec deux tours défensives, celle du sud déjà mentionnée, et la plus petite tour de l’angle nord-ouest, qui défend l’accès, sous forme de virage stratégique, à l’enceinte. Le type d’entrée protégée par un avant-mur est courant dans la poliorcétique almohade. Cette tour, plus grande, conserve une partie des dalles de plancher, constituées de voûtes en berceau construites avec des dalles de pierre liées avec du mortier de chaux, une technique de construction qui, selon Hidalgo et Matoses, est retrouvée dans la voûte d’accès au château voisin de La Pileta, situé à l’entrée nord de Cortes de Pallás.
