Lleva el nombre de Antiguo Colegio de San Ildefonso por haber albergado en el siglo XVI cuatro seminarios: San Pedro y San Pablo, San Bernardo, San Miguel y San Gregorio, que se encontraban a cargo de los Jesuitas. Al fusionarse, nace en 1583 el Colegio de San Ildefonso. Sin embargo, fue hasta el siglo XVIII que el edificio adquirió la arquitectura barroca que ahora lo caracteriza.
Actualmente es un museo que consta de dos salas:
El proyecto El Mural con pinturas plasmadas en las paredes del edificio y una sala de exposiciones temporales. Además, tiene tres áreas muy importantes: El Generalito, que es un salón de actos, La Capilla, una sala de exposiciones.
Y el Anfiteatro con un mural de Diego Rivera que se llama La Creación, éste fue el primero de varios murales que pintó el mexicano como parte de una campaña que impulsó José Vasconcelos para alfabetizar a la sociedad artísticamente. En ese proyecto participaron también José Clemente Orozco, Ramón Alva de la Canal, Fermín Revueltas, Fernando Leal y Jean Charlot.
