La fortaleza propiamente dicha se compone de dos torres gemelas con accesos enfrentados, unidas por un lienzo de muralla. Las plantas de ambas son cuadrangulares y están realizadas en sillería bien trabajada, conservando tanto en planta como en alzado un buen estado de conservación. La torre occidental tiene el acceso abierto en el lienzo este, mientras que la oriental lo tiene en el oeste. Al recinto defensivo se accedía mediante una escalera constituida por estacas de madera hincadas en el lado norte de la propia peña rocosa, de la que aún quedan numerosos vestigios en forma de entalladuras. Ambas torres rondan los 6,5 m de lado y alcanzan una altura considerable. La occidental se levanta en la zona más elevada de la peña. Su alzado cuenta con tres alturas interiores: un sótano y tres plantas. El sótano era accesible mediante una trampilla practicada en el suelo de madera de la primera planta, de cuyo sistema quedan huellas en el muro oeste. En el lienzo oriental de la primera planta abre la puerta de acceso, de 85 cm de luz, según Esteban Lorente. Es una puerta de arco de medio punto dovelado, que interiormente se prolonga en la anchura del muro en un tramo abovedado. En esta planta también se dispone una ventana adintelada y en aspillera, que avista el camino de acceso. El segundo piso tendría el suelo de madera, que apoyaría en unas estrechas impostas todavía visibles que recorren los muros. En el lienzo meridional de esta planta abre otra ventana aspillerada, y dos vanos adintelados en los muros este y oeste que, a juzgar por los mechinales que se aprecian, darían paso a sendos cadalsos dispuestos en los ángulos noroccidental y nororiental. En el tercer piso todavía se aprecia una terraza con formas almenadas, que sustentarían seguramente una falsa de madera a dos vertientes. La torre del lado oriental tiene unas proporciones similares, aunque parece más baja ya que arranca desde un nivel inferior de la roca. La fábrica también es similar, presentando sótano y tres plantas, con estructuras de madera que apoyaban en el retranqueo de los muros. En el lienzo oeste abre la puerta de entrada, similar a la anterior, a la que se debía de acceder mediante una plataforma de madera. En el lienzo del lado norte vemos una ventana en aspillera, dos en el oriental y otra en el meridional. Esta torre tiene la característica de conservar un retrete ubicado en el espesor del muro sur, consistente en un nicho adintelado con asiento de obra y desagüe, visible desde el exterior. No existe unanimidad a la hora de ofrecer una cronología para las torres que podemos contemplar actualmente en el conjunto de Sibirana. La mayoría de expertos opinan que fueron levantadas bajo el reinado de Ramiro I, entre 1035 y 1057, reaprovechando el lugar que ocupaba una anterior fortaleza lignaria previa al año 1000, aunque otros retrasan su cronología unas décadas, comparando su aparejo, sistema de asentamiento y labra con los castillos de Luesia y Biel.