El Reglamento de Inteligencia Artificial exige que los sistemas de IA de alto riesgo funcionen de forma adecuada para su finalidad prevista. Esto puede parecer una obviedad, pero el AI Act le da a esta idea un significado mucho más amplio que el habitual en el ámbito técnico.
Para el reglamento, “funcionar bien” no equivale a obtener una buena métrica de accuracy. El desempeño de un sistema de IA se evalúa en relación con su impacto real, su contexto de uso y los riesgos que puede generar.
Qué entiende el AI Act por precisión y desempeño
La precisión es solo uno de los elementos del desempeño de un sistema de IA.
El AI Act exige que el sistema alcance niveles de precisión, robustez y fiabilidad adecuados a su finalidad prevista y a su contexto de uso. Esto significa que no existe un umbral único válido para todos los sistemas.
Un sistema puede ser técnicamente preciso y, aun así, no cumplir el reglamento si su desempeño no es adecuado para las decisiones que apoya o automatiza.
El desempeño se evalúa siempre en relación con lo que el sistema se utiliza para hacer.
Por qué la accuracy no es suficiente
La accuracy es una métrica útil, pero tiene límites claros.
Puede ocultar errores sistemáticos en determinados grupos, comportamientos problemáticos en casos extremos o degradación del rendimiento en condiciones reales.
En sistemas de alto riesgo, estos problemas no son aceptables aunque la media global de precisión sea alta.
El AI Act no prohíbe el uso de métricas tradicionales, pero exige una visión más completa del comportamiento del sistema.
Desempeño y contexto de uso
El reglamento insiste en la idea de finalidad prevista.
Un sistema debe evaluarse en condiciones que reflejen razonablemente el contexto en el que se va a utilizar. No basta con pruebas en entornos controlados que no se parecen al uso real.
Cambios en el tipo de datos, en el perfil de las personas afectadas o en el entorno operativo pueden afectar al desempeño de forma significativa.
Por eso el AI Act vincula el desempeño al contexto y no solo al diseño original del sistema.
Desempeño desigual y riesgos asociados
Uno de los puntos críticos para el reglamento es el desempeño desigual.
Un sistema puede funcionar bien para la mayoría de los casos y fallar de forma consistente en situaciones concretas o para determinados grupos.
Este tipo de fallos puede dar lugar a discriminación, exclusión o decisiones injustas, incluso sin intención.
El AI Act exige identificar y evaluar estos comportamientos, especialmente cuando el sistema afecta a derechos fundamentales.
Relación entre desempeño y gestión de riesgos
La evaluación del desempeño no es un ejercicio aislado.
Forma parte del proceso de gestión de riesgos y debe utilizarse para identificar riesgos residuales y definir medidas de mitigación.
Si el sistema no alcanza un nivel de desempeño adecuado para su uso previsto, no basta con documentarlo. Deben ajustarse el sistema, el contexto de uso o ambos.
El reglamento no acepta un desempeño deficiente como algo inevitable en sistemas de alto riesgo.
Seguimiento del desempeño a lo largo del tiempo
El AI Act no se limita a exigir pruebas iniciales.
El desempeño debe supervisarse de forma continua, especialmente cuando el sistema aprende, se actualiza o se utiliza en entornos cambiantes.
Un sistema que funcionaba correctamente al inicio puede dejar de hacerlo con el tiempo.
La vigilancia postcomercialización es el mecanismo que permite detectar estas desviaciones y actuar antes de que se produzcan impactos graves.
Errores habituales al interpretar los requisitos de desempeño
Un error común es centrarse únicamente en métricas técnicas sin analizar su significado práctico.
Otro error es evaluar el desempeño una sola vez y asumir que será estable para siempre.
También es frecuente separar el desempeño técnico del impacto legal o social, cuando en realidad están directamente conectados.
Relación con otros requisitos del AI Act
Los requisitos de precisión y desempeño están estrechamente relacionados con la calidad de los datos, la robustez, la supervisión humana y la vigilancia postcomercialización.
Juntos forman la base para garantizar que los sistemas de IA de alto riesgo no solo funcionan, sino que lo hacen de forma adecuada, previsible y responsable.
Para el AI Act, un sistema de IA no “funciona bien” porque tenga buenos números, sino porque su comportamiento es coherente con el impacto que se espera de él en el mundo real.