Según la tradición su nombre proviene de un milagro en el que la Virgen se apareció sobre una oliva. Es una obra de principios del siglo XVI y cada 8 de septiembre se organiza una romería dirigida por la Hermandad de la Virgen de la Oliva que está compuesta solo por mujeres.
