Dedicada a los santos Justo y Pastor, los orígenes del eremitorio se remontan al siglo VII, en el contexto de los movimientos eremíticos que vivió el norte de la península y que es posible rastrear en la zona (Villacibio, Villarén de Valdivia, Cervera de Pisuerga, Santa maría de Valverde, etc.), aunque la visión actual que nos ofrece es producto de su transformación en época medieval.
La planta del edificio es irregular debido a las exigencias de excavación en el terreno, aunque sigue la tipología habitual de iglesia con cabecera de dos ábsides semicirculares y dos naves separadas por un pilar y tres columnas, dos de las cuales son artificiales, a pesar de aparentar sustentar un falso abovedamiento todas ellas. Cada nave consta con su respectivo ábside: en uno se sitúa el altar con un ara romana y un Cristo Crucificado del XVII, y en el otro, un retablo plateresco del XVI con las imágenes de los santos Justo y Pastor, a los que está dedicada la iglesia.
En la nave de la epístola se abre una sala cuadrangular cubierta por una bóveda de cañón que actualmente cumple la función de sacristía, mientras que en la nave del evangelio se abre un habitáculo de planta cuadrangular que alberga la pila bautismal y un enterramiento antropomórfico bajo rudo arcosolio.
La decoración escultórica se centra en los capiteles dobles y en la portada, aunque esta fue efectuada en 1753. En cuanto a los restos pictóricos, destacan los situados detrás del retablo de época gótica y moderna, y dos pinturas que datan de los siglos XVII y XVIII: una cruz delimitada por entrelazos vegetales sobre el vano de la sacristía y un mural en el que se representan las nubes y los astros, entre otros signos asociados a la pasión de Cristo en la nave del evangelio.
No obstante, es la propia estructura de la iglesia a través de las bóvedas de cañón apuntado y reforzadas por arcos fajones que imita el estilo románico, así como las vetas y los tonos degradados de la piedra arenisca en los que está escavada, la ornamentación que hace única a la iglesia, y que hace que el visitante se deleite con su calidez y se sumerja en un ambiente inimitable.
Los entornos de la ermita también son magníficos, estando rodeada por espacios verdes que cuentan con distintas variedades de árboles bajo los que cobijarse a la sombra en los días calurosos. Junto a ella se ubica una necrópolis rupestre con varias tumbas antropomorfas excavadas en la roca y cuenta también con dos lauras o cuevas, que posiblemente fueron usadas por los monjes antes de comenzar a excavar la ermita. Destaca la laura sur, que fue el primitivo baptisterio de la ermita y donde actualmente se ubica una gran torre-campanario exenta construida en sillería en el siglo XVII, pero cuyos orígenes se hayan en una torre de vigilancia mucho anterior, pudiendo estar en relación con el cercano Monte Cildá.
Para saber más del románico de Olleros de Pisuerga AQUÍ