Caso práctico III — Auditoría de riesgo, sesgo y cumplimiento (AI Act)

Caso práctico III (Bloque III — Regulación) — Auditoría de riesgo, sesgo y cumplimiento (AI Act) del sistema del grupo

Asignatura: Deep Learning para Business Analytics — Comillas (ICADE). Profesor: Eduardo C. Garrido-Merchán · ecgarrido@comillas.edu. Curso: 2026–2027. Bloque: III — Regulación y ética (Tema 7, semana 14). Modalidad: en grupo (los mismos grupos del proyecto final). Peso: caso práctico evaluado con la rúbrica común del curso (ver §8). Particularidad: este caso se entrega y se defiende junto al pitch del proyecto final (ver §11 y proyecto_final_startup_ai_first.md).

1. Contexto de negocio

Habéis construido (o vais a desplegar) un sistema de IA: un modelo del Bloque I, un asistente agéntico del Bloque II, o el sistema de vuestra startup. Antes de que toque a un cliente o a un empleado real, alguien tiene que responder a la pregunta que ya hace todo consejo de administración europeo: ¿es esto legal y es esto responsable? El Reglamento (UE) 2024/1689 (AI Act) ya está en vigor y clasifica los sistemas por riesgo, con obligaciones duras para los de alto riesgo (crédito, empleo, educación, salud, justicia). Un sistema que en producción discrimine por género, edad u origen no es solo un problema ético: es una sanción regulatoria y un riesgo reputacional.

La dirección os pide actuar como el equipo de cumplimiento y riesgo de vuestra propia startup: clasificar el sistema, documentar las obligaciones que le aplican, auditar el sesgo con datos, y proponer mitigaciones realistas, con sus costes. Este caso convierte el checklist del Día 18 en una auditoría completa y defendible frente a un regulador.

2. Objetivo

Producir una auditoría de cumplimiento y ética del sistema del grupo que (i) lo clasifique correctamente bajo el AI Act con justificación por artículos, (ii) documente las obligaciones técnicas que le aplican, (iii) mida el sesgo empíricamente sobre datos, no en abstracto, y (iv) proponga mitigaciones con su coste (incluido el coste en rendimiento: ninguna técnica elimina el sesgo gratis).

3. Alcance mínimo

Clasificación de riesgo. Encuadrar el sistema en una de las cuatro categorías (prohibido / alto riesgo / riesgo limitado / riesgo mínimo) y justificarlo. Si es de propósito general (GPAI), discutir el umbral de riesgo sistémico.
Mapa de obligaciones. Para la categoría que aplique, listar las obligaciones concretas con su base legal. Para alto riesgo, al menos cinco artículos relevantes (p. ej. gestión de riesgos Art. 9, gobernanza de datos Art. 10, transparencia/información Art. 13, supervisión humana Art. 14, exactitud y robustez Art. 15; transparencia de riesgo limitado Art. 50; prácticas prohibidas Art. 5). Verificad los artículos en la fuente, no de memoria.
Auditoría de sesgo con datos. Elegir al menos un atributo protegido (género, edad, origen), medir una métrica de equidad de grupo (paridad demográfica, igualdad de oportunidades / TPR por grupo, o calibración por grupo) sobre el modelo, e interpretar el resultado en el contexto del negocio.
Mitigaciones con coste. Proponer al menos dos mitigaciones (de datos, de entrenamiento o de post-proceso) y, para una de ellas, medir el trade-off: cuánto baja la disparidad y cuánto cuesta en métrica de negocio.

4. Datos y herramientas sugeridos

Texto del Reglamento: EUR-Lex, Reglamento 2024/1689. https://eur-lex.europa.eu (fuente de verdad para los artículos).
Datos para la auditoría de sesgo (del repositorio validado): Telco Customer Churn, IBM HR Analytics Attrition (fairness por género/edad), LendingClub (scoring de crédito, el caso canónico de sesgo del Día 18). https://www.kaggle.com/datasets/blastchar/telco-customer-churn · https://www.kaggle.com/datasets/pavansubhasht/ibm-hr-analytics-attrition-dataset · https://www.kaggle.com/datasets/wordsforthewise/lending-club
Librerías de equidad (opcional pero recomendado): fairlearn o aif360 para las métricas y las mitigaciones.

Si vuestro sistema no toca datos personales, auditad el riesgo que sí tenga (p. ej. veracidad, trazabilidad, dependencia de un proveedor) y razonad por qué el sesgo de grupo no aplica.

5. Qué se entrega

Una carpeta comprimida grupoNN_caso_3.zip con:

Informe de auditoría (auditoria_caso_3.pdf, máx. 6 páginas): clasificación de riesgo razonada, mapa de obligaciones con artículos, resultados de la auditoría de sesgo (con la métrica y su gráfico), tabla de riesgos y mitigaciones, y el trade-off medido. Incluye la tabla del §7.
Notebook de la auditoría de sesgo (caso_3.ipynb ejecutado): cómputo de la métrica de equidad y de la mitigación, reproducible y con semillas.
Una diapositiva de cumplimiento integrada en el pitch final (ver §11): "este es nuestro riesgo, esta es nuestra clasificación, así lo mitigamos".
Declaración de IA (DECLARACION_IA.md).

6. Tareas

6.1 — Clasificación (negocio + regulación). Encuadre y justificación por artículos. Verificados en EUR-Lex.
6.2 — Mapa de obligaciones (regulación). Cinco artículos con qué exige cada uno y cómo lo cumple (o no aún) vuestro sistema.
6.3 — Auditoría de sesgo (técnica). Métrica de equidad de grupo sobre un atributo protegido, con su interpretación.
6.4 — Mitigación y trade-off (técnica + negocio). Dos mitigaciones; para una, el coste medido en disparidad vs. métrica de negocio.
6.5 — Defensa SIN IA ante el "regulador" (condición de aprobación). §9.

7. Tabla Concepto → Aplicación → Entradas → Salidas → KPI

Concepto	Aplicación	Entradas	Salidas	KPI
Clasificación AI Act	Encuadre legal del sistema	Descripción del sistema + Reglamento	Categoría + artículos	Nº de obligaciones cubiertas / aplicables
Auditoría de sesgo	Riesgo de discriminación	Predicciones + atributo protegido	Métrica de equidad por grupo	Disparidad (p. ej. Δ TPR entre grupos)
Mitigación	Reducción del riesgo	Modelo + técnica de equidad	Modelo mitigado	Δ disparidad vs. Δ métrica de negocio

8. Rúbrica común del curso (10 pts → escala 0–10)

Dimensión	Peso	Qué se valora
Calidad técnica	30 %	Métrica de equidad correcta, mitigación medida, código reproducible, artículos verificados.
Relevancia de negocio	25 %	Clasificación de riesgo bien razonada, trade-off entendido como decisión de negocio.
Comunicación	20 %	Informe claro, gráfico de equidad legible, narrativa de riesgo, tiempo respetado.
Defensa oral	15 %	Respuestas correctas ante el "regulador", dominio de la auditoría.
Trazabilidad de IA	10 %	Herramientas declaradas, prompts conservados cuando proceda.

Esta rúbrica es idéntica en los tres casos y en el proyecto final.

9. Sección sin IA (obligatoria, condición de aprobación)

El §6.5 es una defensa oral en clase, sin IA, en la que el profesor ejerce de regulador y el grupo responde, con una página de notas de autoría propia, a:

Clasificad vuestro sistema en voz alta y justificadlo. ¿Por qué esa categoría y no la superior? Citad el artículo.
El sesgo que medisteis. Explicad qué significa la disparidad encontrada para una persona real afectada por una decisión del sistema.
El coste de la equidad. "Ninguna técnica elimina el sesgo sin coste." ¿Qué coste aceptasteis y por qué es defendible ante un cliente y ante un regulador?

Texto generado por IA o incapacidad de defenderlo sin IA = cero en el caso (regla C, Día 01).

10. Política de IA

Permitida y fomentada para el código de la auditoría y la redacción del informe, con declaración de trazabilidad y con los artículos del Reglamento verificados en EUR-Lex, no en el LLM (los LLMs alucinan números de artículo). Prohibida en la defensa §9.

11. Fechas y articulación con el proyecto final

Publicación: semana 13.
Entrega del informe: semana 14, junto a la entrega del proyecto final.
Defensa: el mismo día del pitch del proyecto (hito "Caso III + pitch" del calendario del Día 01). La diapositiva de cumplimiento (§5.3) va dentro del pitch; la defensa sin IA (§9) es la ronda de preguntas del "regulador".
Feedback: con la nota del proyecto final.

12. Ayudas

Foro primero, profesor después. El Día 18 (checklist AI Act, formalización del sesgo, caso de scoring de crédito) es el andamiaje directo. Las 4 horas de mentorización del proyecto cubren también este caso.