El "primer edificio totalmente clásico de Castilla", también conocido como Hospital Tavera o de Afuera, por estar situado extramuros de la ciudad, frente a la puerta de Bisagra, nació en el siglo XVI con una doble función: hospital para “los tocados de diferentes enfermedades” y panteón de su fundador, el Cardenal Juan Pardo Tavera. Su construcción abre, en 1540, el programa de renovación arquitectónica y urbanística que el círculo de humanistas que rodearon al Emperador Carlos V proyectó para adecuar la imagen de Toledo a su papel de Capital Imperial.