En este lugar conocido como Canfali empieza a construirse el castillo y su muralla. Del mismo no quedan restos salvo fragmentos del lienzo occidental de la muralla que se puede ver desde la zona del puerto. Tras una campaña arqueológica en los años 90, se dató en el siglo XV dicha muralla. Aunque desconocemos el perímetro que ocupaba sí es evidente que se trataba de una modesta construcción.
Es evidente la intención estratégica de situar la población en este lugar. En alto, difícil acceso y un control total sobre la bahía al encontrarse en medio de las dos playas. Sólo se encontraron con un problema que no lograron solventar: la escasez de agua.
Los orígenes de Benidorm se remontan a la Edad Media, momento en el que, por motivos claramente estratégicos, se decidió instalar en la zona una población cristiana estable para contrarrestar uno de los peligros de aquella época, el musulmán.
Con este objetivo, el señor medieval de esta comarca, el Almirante Bernat de Sarrià, otorga la primera Carta Puebla a Benidorm en 1325.
Empieza a construirse aquí el castillo y un perímetro amurallado para resguardar a los vecinos que aquí fueron asentándose. Contaba probablemente con dos murallas, la que defendía las dependencias militares, y la que guardaba a la población civil. Ambas fueron desapareciendo con el tiempo y sabemos de su existencia por la documentación histórica que se conserva.
En la gran roca que separa las dos playas se asentaba la fortaleza que servía de defensa ante las incursiones de piratas argelinos y berberiscos, en los siglos XIV, XV y XVI. Posteriormente el Castillo fue abandonado, quedando en la actualidad sólo algunos restos de las murallas, que yacen sobre las rocas del mirador, conocido también como "Balcón del Mediterráneo".
Para visitar esta zona, podemos seguir la balaustrada que la rodea, teniendo en cuenta unas escaleras de subida y otras de bajada.
Después seguiremos la ruta bajando por calle Condestable Zaragoza, teniendo en cuenta que aquí podemos encontrar algún vehículo de frente hasta llegar al punto 15, parque de Elche.