La Ermita de la Virgen de la Peña del Castillo se encuentra en el término municipal de La Encina de San Silvestre, que la comparte con Villaseco de los Gamitos el primer sábado de cada mes de septiembre para realizar su esperada romería. Su origen se debe al Marqués de Torneros, quien ordenó su construcción.

Según la leyenda, antes de anochecer, un bondadoso pastor recorría con su rebaño estos parajes, cuando, de repente, una oveja se separó del rebaño. Tras haberla perdido de vista, fue de inmediato a buscarla, pero su sorpresa fue muy grande al encontrar entre las peñas la sagrada imagen de la Virgen.

El edificio, de una sola nave, presenta un desarrollado atrio que sirve de antesala a la puerta de entrada, rematada por un arco de medio punto. Este se levanta sobre un zócalo granítico, donde se apoyan seis columnas que sostienen una cubierta a tres aguas. Tras él se aprecia la espadaña-campanario, una construcción de dos cuerpos. El primero comienza tras la línea de imposta, decreciendo con curvatura hacia el interior. En sus lados, vemos decoraciones prismáticas, mientras que en el centro se abren dos vanos, bajo arcos de medio punto, que cobijan las campanas. El segundo cuerpo arranca de otra línea de imposta. Es de idéntica factura, pero de menor anchura, con la salvedad de que en el centro sólo hay un vano con una sola campana. El conjunto queda rematado con tres pirámides.

En el interior, llama la atención un retablo barroco en el que podemos observar a la Virgen en la hornacina central, rodeada por sendos estípites y columnas. Un policromado Todopoderoso preside dicho retablo.