Cuenta la leyenda que los antiguos pobladores de Pereña ocultaron la imagen de Nuestra Señora entre unas peñas en el teso del Berrocal para protegerla ante la llegada de los musulmanes que invadieron estas tierras allá por el siglo VIII. Ochocientos años después, en el siglo XVI, un pastor que subía desde el Duero casi desfallecido por la sed recordó que en otros tiempos por aquel lugar había sido escondida la imagen de la Virgen. Cansado y sediento, se recostó sobre una piedra y cuando despertó pidió auxilio a Nuestra Señora, la cuál se apareció en la parte más alta de la roca. El hombre dio unos pequeños golpes a la piedra y comenzó a brotar agua creándose la fuente que hoy en día es conocida como la Fuente Santa. El pastor se arrodilló para dar gracias y oyó una voz que le decía: "Marcha, pastor, al pueblo de Pereña y cuenta a sus habitantes como en el cubo del castillo hay un retrato mío que dejaron los cristianos cuando marcharon de allí y es mi voluntad que se coloque en medio de aquel cerro, pues es el lugar que le corresponde y donde antiguamente se me tributaron adoraciones". El pastor marchó ligero hacia el pueblo a contar lo sucedido y volvió con los vecinos para trabajar sin descanso hasta dar con la imagen, una talla policromada tallada en piedra y con el Niño Jesús en brazos. En su honor se construyó la ermita que hoy conocemos como la de la Virgen del Castillo, donde cada 14 de mayo se celebra una de las romerías más importantes de Las Arribes del Duero y donde acuden vecinos de pueblos cercanos y Portugal a rendir homenaje a Nuestra Señora.