Situado junto a la Iglesia de Santa María, es uno de los pocos castillos conservados en Cantabria que, junto con las murallas de las cuales quedan escasos restos, constituía un punto clave para la defensa de la ciudad.
Probablemente se construyó como elemento defensivo a finales del siglo XII y principios del XIII. Es de pequeño tamaño, de 25 por 15 metros de lado, planta trapezoidal, torres cilíndricas esquinales y un saliente triangular también rematado en cilindro. En su interior hay una sala abovedada de medio cañón, y en él también podemos encontrar una reproducción del miliario romano de Nero Claudio. Actualmente en sus dependencias se desarrollan diversos actos y exposiciones.
En 1853 se construyó el faro en el torreón sudeste, de planta circular, realizado en sillería, siendo uno de los más antiguos de la región.
Junto con toda la Puebla Vieja de Castro-Urdiales, fue declarado Conjunto Histórico-Artístico en 1978.
