La leyenda del Santuario cuenta que en 1007, el rey moro de Toledo Aldemón tuvo una hija llamada Casilda. Ésta fue sorprendida por su padre ofreciendo alimentos y medicinas a los cristianos encarcelados en el palacio, pero milagrosamente lo que escondía en su vestido se convirtió en pétalos de rosa. Cuando la santa se enteró de que tenía una enfermedad incurable, se retiró a la zona de La Bureba, donde existían aguas milagrosas en los Lagos de San Vicente que podrían curar su mal. Apenas se lavó con aquellas aguas quedó sana de su enfermedad. Desde entonces, decidió llevar una vida eremítica despojándose de todos los objetos de valor. Con el tiempo, tuvo la idea de levantar al pie de la montaña, junto a los pozos, una pequeña ermita en honor a la Virgen, pero todo cuanto se construía durante el día era milagrosamente transportado a lo alto de la montaña, donde se levantaría el Santuario en honor de Santa Casilda (que murió y fue sepultada en él a los 60 años).