Esta es, sin duda, la construcción religiosa más emblemática de Pereña. Se encuentra en lo alto del Cerro del Berrocal, en un magnífico paraje dominando el Teso de la Ermita, desde el que se pueden contemplar unas espectaculares vistas. Según cuenta la leyenda, en este teso se haya el lugar de la patada, donde las huellas de la Virgen y del Diablo quedaron impresas tras su lucha.

Según se cuenta, la primera ermita se levantó a finales de la Edad Media, cuando se encontró la imagen de la Virgen. Sin embargo, fue tal la afluencia de peregrinos al lugar, que no tardaron mucho tiempo en levantar una nueva ermita más sólida y espaciosa. Aunque no se conozca la fecha exacta de comienzo de las obras y no sea posible precisar nada de las distintas etapas de su construcción, cabe señalar que el año de su terminación no coincide con el que aparece grabado sobre la puerta de entrada del actual edificio. Esta inscripción se refiere a unas obras de mejora y ornato muy posteriores, de principios del siglo XVIII, ya que, la actual ermita aparece acabada en un documento de los primeros años del siglo XVII.

El edificio actual se renovó bajo las formas del primer Barroco. Presenta una cuidada construcción de excelente calidad, realizada a base de sillares bien escuadrados, planta de cruz latina, con crucero poco pronunciado, y cabecera poligonal, con interesante juego de volúmenes. La nave única se divide en tres tramos, vistos al exterior por los contrafuertes. Estos ayudan a sostener el pórtico del lado norte, al que se accede mediante arco de medio punto, forma que se repite en el vano de ingreso.

Destaca el hastial de poniente, con puerta de acceso y espadaña. Salvando un escalón, se abre la puerta, de arco romano con moldurada imposta y escudo sobre la clave. En lo alto de este primer cuerpo, vemos una cornisa con molduras rectas, que se prolonga hasta el alero de la nave. Sobre las esquinas, donde nace el tejado a dos aguas, destacan sendos pináculos con jarrones. El muro, decorado a mitad de lienzo con un pequeño óculo, sigue la línea de la cubierta, a modo de frontón sobre el que se levanta la espadaña.

Esta es de gran altura y escasa anchura, lo que le confiere un aspecto bastante inestable y débil, a la vez que esbelto. Destacan las salientes cornisas, de sección rectilínea, que separan los dos pisos superpuestos. En el primero, dos vanos semicirculares cobijan las campanas, mientras que, en el superior, solo vemos un único vano de menores dimensiones. Sus laterales curvos rematan en una cuarta cornisa sobre la que se asienta la veleta, bellísimo ejemplo del género, realizada en forja con esfera anular. Rodeando a esta, de nuevo, esa decoración de jarrones tan típica del Barroco.

En su interior, tres retablos nos dan la bienvenida. El central, decorado con estípites en lugar de columnas, es de dos pisos, destacando en el inferior una ventana-camarín enmarcada con un arco floral tallado. Su hornacina conserva la talla de la veneradísima Virgen del Castillo, cuya devoción se remonta siglos atrás. Se trata de una imagen de piedra policromada sobre la que se encuentra el Niño con un pájaro en la mano.

Existen varias leyendas en el lugar en torno a esta Virgen. Según la tradición oral, el culto a Nuestra Señora arranca en los primeros tiempos de la Hispania visigoda y se mantiene sin interrupciones durante más de 250 años, hasta la época en que los musulmanes invadieron la zona. Corría entonces el año 711 y muchos de los vecinos de los pueblos circundantes oponían resistencia los islamistas. Una vieja fortaleza, testigo mudo y solitario de un pasado remoto, les servía de defensa y refugio. Pero su esfuerzo y heroísmo fueron inútiles y, después de varios asedios, se vieron obligados a entregarse al invasor, no sin antes poner a salvo la imagen de la Virgen, que escondieron cuidadosamente en uno de los cubos de aquel castillo.

Pasaron muchos años antes de que volvieran encontrarla. Pese a los intentos realizados por los vecinos para rescatar la imagen, esta permanecía oculta y soterrada en algún lugar desconocido del Berrocal. Un día un pastor llegó extenuado a la cima del teso. Desfallecido y sin la esperanza de encontrar un poco de agua para calmar su sed, se dejó caer sobre un peñasco y rezó a la Virgen. De repente, comenzó a escuchar el murmullo de un manantial y, sorprendido de no haberlo visto antes, bebió con tesón. Cuando alzó los ojos, vio sobre la peña más alta del lugar la figura de Nuestra Señora, quien le reveló el sitio donde debían buscar la imagen extraviada y su deseo de que construyeran para ella una ermita. Los vecinos comenzaron a excavar, encontrando la preciosa imagen de la Virgen. No se recuerda la fecha de tan feliz y singular hallazgo, pero se sabe que fue en la primera mitad del siglo XIV, momento en el que comenzaron las peregrinaciones en su honor.

Cuando se descubrió esta imagen, se encontró junto a ella una piedra blanca y refulgente que se usó como peana para la recién aparecida talla de la Virgen. Tras pasar desapercibida a lo largo de los años, un día se rompió y el polvo que salió de ella se utilizó para curar a los enfermos. Uno de ellos, procedente de Escurial de la Sierra, en un alarde de curiosidad por ver de dónde provenía su medicina, llegó hasta la ermita y solicitó llevarse un pedazo de la piedra como reliquia. Cuando fue a cortarlo, saltó un trozo en el que apareció un pequeño retrato de la imagen titular de la ermita. Desde entonces, esta pequeña reproducción pasó a llamarse Virgen Chica. Este hecho ocurrió el 14 de mayo de 1721, razón por la que se celebra la romería en fecha tan señalada.

Tres veces al año suben los pereñanos a esta Ermita: el lunes de Pascua, en las fiestas de septiembre y, sobre todo, en la romería que en honor a la Virgen del Castillo se celebra el mencionado 14 de mayo, el día festivo más importante de Pereña. Unas 1500 personas se acercan hasta este lugar, tras cubrir los dos kilómetros que lo distancian del pueblo. Un lugar que presume de tener otros encantos, como los miradores hacia el lecho apacible del Duero, los restos del antiguo castro vetón, del que hoy tan solo quedan algunas piedras de la muralla, o la Casa del Ermitaño, del siglo XVIII, aunque con algún resto romano, como las dos columnas del pórtico y la estela funeraria del siglo II-III, empotrada en las paredes, que aún conserva los nombres de dos difuntas: Placidina y Fausta.