Fue fundado por el licenciado Juan de Larios, aunque empezó a funcionar como seminario en 1596. Originalmente se dedicó a San Juan Bautista, aunque después cambió su advocación a San Juan Evangelista. Obedeciendo un decreto del Concilio de Trento, don Juan de Palafox lo convirtió en 1643 en seminario conciliar tridentino, además de mejorar la construcción e integrarlo con los colegios vecinos. Su fachada es sencilla; destaca de la original el enmarcamiento del amplio cubo del zaguán; el interior luce el claustro de excelentes proporciones y varios de los salones con sus bóvedas de arista.

Destaca la Biblioteca Palafoxiana, concluida por el obispo Fabián y Fuero en la segunda mitad del sigloXVIII, que además de ostentar soberbia arquitectura, alberga casi cuarenta mil volúmenes antiguos. A finales del siglo XIX fue Palacio de Gobierno.

Hoy en día se conoce como Casa de la Cultura ó Colegio de San Juan.