S.XVII y XVIII.
Durante el reinado de Isabel I de Inglaterra (S. XVI), huyeron al continente millares de irlandeses a causa de la persecución política y religiosa de la reina. Los exiliados irlandeses constituyeron en varios países europeos comunidades propias para formar sacerdotes que serían el futuro clero de Irlanda.
El de Santiago fue el segundo de los cinco colegios que se abrieron en España, tras solicitar el jesuita Tomás White el permiso a Felipe III en 1603. El Colegio continúa hasta 1770, cuando desaparece a raíz de la expulsión de los jesuitas decretada por Carlos III.
A partir del primer piso aparecen en la fachada elementos neoclasicistas, quizá de una reforma de finales del siglo XVIII o principios del XIX, que no está documentada, entre ellos frontones clásicos en la cornisa, jarrones mecheros y ventanas con dintel curvado.
Según explica Eduardo Beiras García, autor del libro "Lucas Ferro Caaveiro e a Cidade de Santiago de Compostela" (Ed. Caixa Galicia), el actual nombre popular de Pazo de Ramirás (un título nobiliario otorgado por Alfonso XIII) no parece correcto. En realidad, tras los jesuitas en el siglo XVIII, el edificio fue ocupado por el marqués de Casa-Pardiñas, cuyo escudo adorna hoy el frontis central, así como los que sostienen los leones del arranque de la gran escalera pétrea del interior.