El sistema defensivo medieval de Fermoselle se componía de un recinto amurallado del que apenas ha quedado vestigio alguno más allá de la llamada Puerta del Villar (también conocida como "El Arco"); y de su castillo, denominado "de Doña Urraca" por ser lugar de retiro elegido por la princesa portuguesa tras ser anulado su matrimonio con el rey Fernando II de León.

Se erigía la fortaleza sobre un espolón granítico que aflora en la parte más elevada y dominante del caserío, aunque lamentablemente a día de hoy apenas han sobrevivido unos menguados vestigios de su torre del homenaje, de los cubos de la muralla y parte de los lienzos meridionales.

Tras quedar arruinado por diversos avatares históricos (Guerra de las Comunidades, conflictos fronterizos con Portugal), en el año 1822 la Diputación de Zamora dio permiso para que tanto sus restos como los de la muralla fueran reaprovechados para la construcción de viviendas de la localidad.

En la actualidad, el principal atractivo del solar sobre el que se asentó el Castillo de Doña Urraca son las magníficas vistas de los Arribes del Duero que desde él se contemplan.