Se fundó en 1610 por el arzobispo Juan de Sanclemente y Torquemada para enseñar teología, y fue denominado San Clemente de Pasantes porque en él se admitían únicamente doctores, es decir, personas que ya hubiesen terminado la carrera.
Es actual sede del Instituto de Bachillerato 'Rosalía de Castro', aunque desde su fundación ha albergado numerosas instituciones públicas y privadas tales como la Real Sociedad Económica de Amigos del País, el Museo Arqueológico, la facultad de Derecho, etc. Tiene planta cuadrangular, en sillería de granito, con dos alturas y dispuesta en torno a un patio central clásico, acorde con su destino universitario. En la fachada hay elementos decorativos innovadores en el barroco gallego de inicios del siglo XVII.