Junto al lado sur de la iglesia, a un nivel superior, se levantan los restos de la fortaleza que dio origen a la villa medieval. A los vestigios conservados bajo la plaza actual citados en la introducción, descubiertos por Rey Lanaspa, hay que sumar una de las torres originales del castillo, reutilizada como ermita u oratorio en un momento indeterminado y conocida como la capilla del Cristo, que alberga en su interior un magnífico calvario compuesto por dos tallas románicas y una gótica. La antigua torre está situada en el flanco nororiental de la peña sobre la que se situaría la fortaleza, en la parte más cercana a la iglesia de San Juan Bautista. Todos los autores coinciden en afirmar que la planta baja de esta torre fue reutilizada en fecha desconocida como oratorio del castillo, modificándola estructuralmente, añadiéndosele un cuerpo que la precede, y dedicándola al Santo Cristo. Por la documentación gráfica manejada se ha restaurado recientemente, posiblemente en el mismo momento que la iglesia, ya que en instantáneas antiguas se aprecian diversas construcciones adosadas a la estructura de la torre, inexistentes hoy en día. Se trata de una construcción de planta trapezoidal de dos alturas y terraza almenada. La parte baja, en donde se alberga la capilla del Cristo, tiene una planta rectangular irregular dividida en dos tramos, de 9,50 m de longitud y 3,90 m de anchura. El segundo piso es cuadrangular y es usado actualmente como campanario. Se accede a la torrecapilla mediante una puerta de 0,93 m de anchura, situada en el muro de los pies. Hay dos vanos de iluminación, uno sobre la puerta de entrada y otro en el muro norte, ambos aspillerados al exterior y con derrame interno adintelado. En los paramentos exteriores quedan restos de antiguas aspilleras que actualmente se encuentran cegadas. La torre está construida en su mayor parte con sillería, distribuida en hiladas cuyas dimensiones rondan generalmente los 25-30 cm, aunque en diversos puntos del alzado se utiliza el sillarejo y sillares más pequeños y peor trabajados. No se aprecian marcas de cantería en ninguno de sus paramentos. En el interior, el espacio de la planta baja ocupado por la capilla se cubre con bóveda de cañón apuntado reforzada por dos arcos fajones que descansan en ménsulas lobuladas y que crean a su vez dos tramos. La puerta de acceso está decorada por un relieve discoideo que contiene una cruz patada en el dintel, sustentado a su vez por dos salmeres en voladizo, decorados con rollos. El Calvario que se puede contemplar en el muro oriental está formado por tres esculturas de madera talladas y policromadas: un Cristo crucificado en el centro, la Virgen a la izquierda del espectador y San Juan a la derecha. Las dos primeras corresponden a esquemas de tradición románica, mientras que la tercera es de factura posterior. La imagen del Cristo crucificado, también conocida como el Cristo del Castillo por los habitantes de Castilliscar, se trata de una talla anónima con unas dimensiones similares a la escala natural, con 1,60 m de altura y 1,50 m entre ambas manos. Su anatomía está formada por varios bloques de madera perfectamente unidos, uno para el cuerpo y otros dos para cada brazo. Pertenece al tipo de crucificado de cuatro clavos, con los brazos desplegados en horizontal y perpendiculares al torso, con la cabeza suavemente inclinada sobre el hombro derecho, el cuerpo rígido perfectamente adaptado a la cruz y las manos abiertas. El torso de la figura está desnudo, mostrando una anatomía de rasgos esquemáticos. Un perizonium o paño de pureza largo con marcados pliegues en V oculta el resto del cuerpo desde la cintura hasta las rodillas, cubriendo la izquierda y dejando a la vista la derecha. El tratamiento de incipiente volumetría y la caída someramente naturalista del reborde del paño evidencia su ejecución en fechas avanzadas. Su rostro, barbado y con los ojos cerrados, presenta una gran severidad, aunque contiene ciertos apuntes naturalistas, sobre todo en las proporciones. La forma de presentar las facciones, alejadas de cualquier muestra de dolor o sufrimiento, se corresponde con la iconografía románica. Sobre la cabeza porta una corona dorada bajo la cual cae la melena, lisa y morena, hasta los hombros. Presenta un rasgo típico del arte románico y de las primeras décadas del gótico, basado en gruesos mechones de pelo que caen sobre los hombros del crucificado. Las formas anatómicas y la rigidez del cuerpo hacen pensar en una cronología de las décadas iniciales del siglo XIII. Abbad lo relaciona con el mismo autor del Cristo del Perdón de Sos del Rey Católico, aunque en este caso no se presenta con los ojos abiertos. A su derecha podemos contemplar la imagen de la Virgen, conocida entre los vecinos como la Virgen de las Nieves. Se trata, al igual que la anterior, de una talla en madera policromada, aunque en este caso está realizada a partir de un solo bloque. La pieza, de aproximadamente 1,50 m de altura, destaca por la dulzura y belleza de su rostro, a pesar de que todavía persistan claramente rasgos como la frontalidad, la rigidez y el hieratismo, de lejana tradición bizantina. Presenta la habitual postura de lamentación, en la que la cabeza apoya suavemente en la palma abierta de su mano izquierda, mientras que el brazo derecho cruza su vientre para sujetar a su vez el codo del anterior. Sobre su cabeza lleva un tocado que oculta su cabello, y sus ropajes caen rígidos hasta los pies mostrando pliegues en V en su halda, similares a los vistos en el paño de pureza del Cristo. Asimismo, apreciamos cierta volumetría en el atuendo bajo el antebrazo derecho y pliegues en doble horquilla en el pecho, indicativas del recurso a soluciones ya góticas. Al igual que la anterior se fecha en las primeras décadas del siglo XIII, en relación a obras del sur de Francia y del ámbito catalán. Giménez Aísa apunta como posibilidad que este conjunto escultórico pudiera haber llegado desde Ribagorza por medio de la familia de los Entenza, señores del lugar hasta su entrega a la Orden del Hospital. Por último, la tercera escultura del Calvario, San Juan (aunque algunos vecinos la identifican con San Nicolás) es una talla gótica realizada en madera policromada, más moderna que las anteriores. La cronología de esta torre-capilla parece corresponder a la primera mitad del siglo XIII, por lo que no pertenecería a la primera fortaleza relacionada con la fecha de 1088, año en el que, como se ha comentado en la introducción, el rey Sancho Ramírez y el infante Pedro encargan a Galindo Sánchez la fortificación del castello Liscare.