PRÓXIMA A LA PLAZA MAYOR, y frente a los pies de la iglesia de San Miguel, se encuentra situado el edificio civil más antiguo conservado en la Villa de Ayllón. Aunque actualmente se encuentra muy remodelado dado su uso actual como Caja de Ahorros y Centro de Jubilados, aún conserva parte de sus orígenes del siglo XIII, siendo lo más destacable la puerta de acceso situada al oeste del edificio. Elaborada en la piedra típica de la zona, caliza rojiza de no muy buena calidad, se trata de una sencilla portada de arco de medio punto de ancho bocel, línea de bolas y simple chambrana, que descansa sobre cimacio de perfil nacelado. En el intradós del arco, las dovelas están decoradas con doble bocel, algo bastante común en las portadas del románico civil segoviano. Bajo el arco se disponen ambas jambas en las que continúa el mismo esquema decorativo. Dentro del edificio se exponen ciertos elementos arquitectónicos de origen románico tales como un capitel tallado por tres de sus caras con motivos vegetales, basa de simple toro, dovela decorada con bolas que podría pertenecer a la portada románica y que en su momento pudo haber sido sustituida y trozo de cornisa igualmente ornamentada posiblemente extraída de la próxima iglesia de San Miguel. Aunque son escasas las referencias y estudios que se han realizado sobre los cambios estructurales realizados en el edificio, es evidente que pertenecería a una familia noble dada su proximidad a la Plaza Mayor del pueblo así como a la iglesia de San Miguel, incluyéndose en el conjunto de edificios nobles de la Villa. Las remodelaciones del edificio se han llevado a cabo a lo largo de los siglos, ya en el siglo XV se modificó la principal puerta de acceso situada al este y se sustituyó por una de estilo gótico continuando a lo largo de los siglos hasta llegar al aspecto actual. Su nombre vendría dado por uno de sus propietarios, don Juan de la Torre, párroco de la iglesia de San Miguel que en el siglo XVI, tras sufrir su vivienda un percance, se trasladó a esta casa uniéndola con la contigua también de su propiedad.