Existen indicios de que pudo ser construido en el siglo XII y ampliado o reconstruido en el siglo XIV. Su historia está relacionada con la Reconquista y con los reyes Alfonso VI y Alfonso VIII. Alfonso VI conquisto estas tierras a los musulmanes y se casó con Zaida, una princesa mora, y Alfonso VIII fue quien concedió Los Fueros del Mercado a la Villa de Fuentidueña.
Conserva, aún en pie, un muro y parte de dos torres cilíndricas a los lados. Los dos cuerpos que lo componían estaban separados por un foso interior. Aún puede verse la Torre del Homenaje, en el frente opuesto a la Villa.
Fue sede del reino en tiempos de doña Urraca, mujer de Alfonso I, el Batallador. Según la leyenda, por las noches pasaba a través de los pasadizos a visitar a los moriscos. En este castillo estuvo prisionero el adelantado Pedro Manrique, por orden de Juan II. D. Álvaro de Luna, también estuvo aquí prisionero por sus diferencias con la Orden de Santiago y posteriormente acabó siendo dueño del castillo.
