Sistemas de IA de alto riesgo: Requisitos completos del Reglamento de IA de la UE

Los sistemas de IA de alto riesgo constituyen el elemento central del marco regulatorio del Reglamento de IA de la UE. Si bien el reglamento establece cuatro niveles de riesgo, es la categoría de alto riesgo la que conlleva el conjunto de requisitos de cumplimiento más detallado y exigente. Los Artículos 8 a 15 del Reglamento 2024/1689 establecen un conjunto integral de obligaciones que los proveedores deben cumplir antes de introducir un sistema de IA de alto riesgo en el mercado o ponerlo en servicio.

Este artículo proporciona un examen detallado de cada requisito, con orientación práctica sobre el cumplimiento en la práctica.

Artículo 8: Cumplimiento de los requisitos

El Artículo 8 establece el principio general: los sistemas de IA de alto riesgo deben cumplir con los requisitos establecidos en los Artículos 9 a 15, teniendo en cuenta la finalidad prevista del sistema, así como el estado de la técnica generalmente reconocido.

Este artículo también introduce el concepto de proporcionalidad. Los requisitos deben cumplirse "teniendo en cuenta la finalidad prevista del sistema de IA de alto riesgo y el sistema de gestión de riesgos mencionado en el Artículo 9". Esto significa que la profundidad y el rigor de las medidas de cumplimiento deben ser proporcionales a los riesgos específicos que plantea el sistema en cuestión.

El estándar del estado de la técnica

La referencia al "estado de la técnica generalmente reconocido" en el Artículo 8(1) es significativa. Significa que el cumplimiento no se juzga frente a un estándar técnico fijo, sino frente a las mejores prácticas en evolución. Lo que constituye una gestión de riesgos adecuada o una precisión suficiente hoy puede no serlo mañana a medida que el campo avanza. Los proveedores deben mantenerse al día con los avances en seguridad, equidad y seguridad de la IA.

Artículo 9: Sistema de gestión de riesgos

El Artículo 9 es posiblemente el requisito más fundamental. Establece que se debe crear, implementar, documentar y mantener un sistema de gestión de riesgos para cada sistema de IA de alto riesgo.

Qué debe incluir el sistema de gestión de riesgos

El sistema de gestión de riesgos se define como un proceso continuo e iterativo que se ejecuta a lo largo de todo el ciclo de vida del sistema de IA de alto riesgo. En virtud del Artículo 9(2), debe incluir:

Identificación y análisis de los riesgos conocidos y razonablemente previsibles que el sistema de IA de alto riesgo puede plantear para la salud, la seguridad o los derechos fundamentales cuando se utiliza de conformidad con su finalidad prevista.

Estimación y evaluación de los riesgos que pueden surgir cuando el sistema de IA de alto riesgo se utiliza de conformidad con su finalidad prevista y en condiciones de uso indebido razonablemente previsible.

Evaluación de los riesgos derivados del análisis de los datos recabados del sistema de vigilancia poscomercialización mencionado en el Artículo 72.

Adopción de medidas de gestión de riesgos apropiadas y específicas diseñadas para abordar los riesgos identificados.

Enfoque de mitigación de riesgos

El Artículo 9(4) exige que las medidas de gestión de riesgos tengan debidamente en cuenta los efectos y las posibles interacciones resultantes de la aplicación combinada de los requisitos. Deben ser tales que el riesgo residual pertinente asociado a cada peligro, así como el riesgo residual global del sistema de IA de alto riesgo, se considere aceptable.

Las medidas de gestión de riesgos deben tener en cuenta el estado de la técnica generalmente reconocido, incluido lo reflejado en las normas armonizadas o especificaciones comunes pertinentes.

Requisitos de pruebas

El Artículo 9(5)-(7) aborda específicamente las pruebas. Los sistemas de IA de alto riesgo deben someterse a pruebas para identificar las medidas de gestión de riesgos más apropiadas y específicas. Las pruebas deben garantizar que el sistema funciona de manera coherente para su finalidad prevista y cumple con los requisitos. Los procedimientos de prueba deben ser adecuados para cumplir la finalidad prevista del sistema de IA y no necesitan ir más allá de lo necesario para alcanzar ese propósito.

Las pruebas deben realizarse con métricas predefinidas y umbrales probabilísticos, y deben tener en cuenta las características específicas de la finalidad prevista.

Artículo 10: Datos y gobernanza de datos

El Artículo 10 establece requisitos para los datos utilizados para entrenar, validar y probar los sistemas de IA de alto riesgo. La calidad de los datos se trata como piedra angular de una IA fiable.

Datos de entrenamiento, validación y prueba

En virtud del Artículo 10(2), los conjuntos de datos de entrenamiento, validación y prueba deben estar sujetos a prácticas de gobernanza y gestión de datos apropiadas para la finalidad prevista del sistema de IA. Estas prácticas se refieren a:

• Las decisiones de diseño pertinentes
• Los procesos de recogida de datos y su origen, y en el caso de datos personales, la finalidad original de la recogida de datos
• Las operaciones de procesamiento de preparación de datos pertinentes, como la anotación, el etiquetado, la limpieza, la actualización, el enriquecimiento y la agregación
• La formulación de supuestos pertinentes, en particular en lo que respecta a la información que se supone que los datos miden y representan
• Una evaluación de la disponibilidad, cantidad e idoneidad de los conjuntos de datos necesarios
• El examen en vista de posibles sesgos que puedan afectar a la salud y la seguridad de las personas, tener un impacto negativo en los derechos fundamentales o dar lugar a discriminación prohibida por el derecho de la Unión, especialmente cuando los resultados de los datos influyan en las entradas para operaciones futuras (bucles de retroalimentación)
• Las medidas apropiadas para detectar, prevenir y mitigar posibles sesgos

Requisitos de los conjuntos de datos

El Artículo 10(3) especifica que los conjuntos de datos de entrenamiento, validación y prueba deben ser pertinentes, suficientemente representativos y, en la medida de lo posible, exentos de errores y completos con respecto a la finalidad prevista. Deben tener las propiedades estadísticas apropiadas, incluidas, en su caso, en lo que respecta a las personas o grupos de personas en relación con los cuales se pretende utilizar el sistema de IA de alto riesgo.

Disposiciones especiales sobre sesgos

El Artículo 10(5) permite el tratamiento de categorías especiales de datos personales (como se definen en el Artículo 9(1) del RGPD y el Artículo 10 de la Directiva de Aplicación de la Ley) en la medida en que sea estrictamente necesario para la detección y corrección de sesgos. Se trata de una excepción importante que permite a los proveedores tratar datos sensibles específicamente con el fin de garantizar la equidad.

Artículo 11: Documentación técnica

El Artículo 11 exige a los proveedores que elaboren la documentación técnica antes de que el sistema de IA de alto riesgo se introduzca en el mercado o se ponga en servicio. La documentación debe mantenerse actualizada.

Requisitos de contenido

La documentación técnica debe elaborarse de manera que demuestre que el sistema de IA de alto riesgo cumple con los requisitos establecidos en los Artículos 8 a 15 y proporcione a las autoridades nacionales competentes y a los organismos notificados la información necesaria para evaluar la conformidad del sistema de IA. Debe contener, como mínimo, los elementos establecidos en el Anexo IV.

El Anexo IV especifica extensos requisitos de documentación que incluyen:

• Una descripción general del sistema de IA, su finalidad prevista y el proveedor
• Una descripción detallada de los elementos del sistema de IA y su proceso de desarrollo
• Información detallada sobre la supervisión, el funcionamiento y el control del sistema de IA
• Una descripción del sistema de gestión de riesgos
• Información sobre los datos utilizados (conjuntos de datos de entrenamiento, validación y prueba)
• Una descripción de las medidas de supervisión humana
• Una descripción de los cambios predeterminados del sistema
• Una lista de las normas armonizadas o especificaciones comunes aplicadas
• Una copia de la declaración UE de conformidad
• Una descripción detallada del sistema para evaluar el rendimiento del sistema de IA en la fase poscomercialización

Artículo 12: Conservación de registros

El Artículo 12 exige que los sistemas de IA de alto riesgo estén diseñados y desarrollados con capacidades que permitan el registro automático de eventos (registros de actividad) mientras el sistema está en funcionamiento.

Capacidades de registro

Las capacidades de registro deben permitir la supervisión del funcionamiento del sistema de IA de alto riesgo con respecto a la ocurrencia de situaciones que puedan dar lugar a que el sistema de IA presente un riesgo, o constituyan una modificación sustancial, y facilitar la vigilancia poscomercialización mencionada en el Artículo 72.

En virtud del Artículo 12(2), las capacidades de registro deben incluir como mínimo:

• El registro del período de cada uso del sistema (fecha y hora de inicio, fecha y hora de finalización)
• La base de datos de referencia contra la que se han comprobado los datos de entrada
• Los datos de entrada cuya búsqueda haya llevado a una coincidencia
• La identificación de las personas físicas involucradas en la verificación de los resultados (como se menciona en el Artículo 14(5))

Trazabilidad

El propósito de estos requisitos de registro es la trazabilidad. Cuando se produce un incidente o se presenta una reclamación, los registros deben permitir a las autoridades y proveedores reconstruir lo que hizo el sistema, cuándo y basándose en qué entradas. Esto es esencial para una vigilancia poscomercialización eficaz y para las investigaciones de las autoridades de vigilancia del mercado.

Artículo 13: Transparencia y suministro de información a los operadores

El Artículo 13 exige que los sistemas de IA de alto riesgo estén diseñados y desarrollados de manera que su funcionamiento sea suficientemente transparente para permitir a los operadores interpretar los resultados del sistema y utilizarlos de forma apropiada.

Instrucciones de uso

En virtud del Artículo 13(3), los proveedores deben proporcionar a los operadores instrucciones de uso que incluyan, como mínimo:

• La identidad y los datos de contacto del proveedor
• Las características, capacidades y limitaciones de rendimiento del sistema de IA de alto riesgo, incluida su finalidad prevista, el nivel de precisión, robustez y ciberseguridad, y cualquier circunstancia conocida o previsible que pueda dar lugar a riesgos para la salud, la seguridad o los derechos fundamentales
• Los cambios en el sistema predeterminados por el proveedor
• Las medidas de supervisión humana, incluidas las medidas técnicas diseñadas para facilitar la interpretación de los resultados del sistema de IA por parte de los operadores
• Los recursos computacionales y de hardware necesarios, la vida útil esperada y las medidas de mantenimiento y cuidado para garantizar el correcto funcionamiento
• En su caso, una descripción de los datos de entrada y cualquier medida para garantizar la calidad apropiada de los datos

Interpretabilidad

El requisito de transparencia va más allá de la mera documentación. El Artículo 13(1) destaca que los sistemas de IA deben estar diseñados para que los operadores puedan interpretar efectivamente los resultados y utilizarlos de manera apropiada. Para los sistemas de IA de alto riesgo que toman o informan decisiones sobre personas, esto significa proporcionar información sobre los principales factores y, en su caso, los principales parámetros que contribuyen a un resultado particular.

Artículo 14: Supervisión humana

El Artículo 14 es una de las características más distintivas del Reglamento de IA de la UE. Exige que los sistemas de IA de alto riesgo estén diseñados y desarrollados de modo que puedan ser supervisados eficazmente por personas físicas durante el período en que estén en uso.

Diseño para la supervisión

La supervisión humana debe ser diseñada en el sistema por el proveedor e implementada por el operador. En virtud del Artículo 14(3), las medidas deben ser apropiadas para los riesgos, el nivel de autonomía y el contexto de uso, y deben permitir a las personas que supervisan el sistema:

(a) Comprender adecuadamente las capacidades y limitaciones pertinentes del sistema de IA de alto riesgo y ser capaces de supervisar debidamente su funcionamiento, incluida la detección y el tratamiento de anomalías, disfunciones y rendimiento inesperado.

(b) Ser conscientes de la posible tendencia a confiar automáticamente o a depender excesivamente de los resultados producidos por el sistema (sesgo de automatización), en particular para los sistemas de IA de alto riesgo utilizados para proporcionar información o recomendaciones para decisiones que deben tomar las personas físicas.

(c) Ser capaces de interpretar correctamente los resultados del sistema de IA de alto riesgo, teniendo en cuenta, por ejemplo, las herramientas y métodos de interpretación disponibles.

(d) Ser capaces de decidir, en cualquier situación particular, no utilizar el sistema de IA de alto riesgo o ignorar, anular o revertir de otro modo los resultados del sistema de IA de alto riesgo.

(e) Ser capaces de intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema mediante un botón de "parada" o un procedimiento similar que permita que el sistema se detenga en un estado seguro.

Identificación del personal de supervisión

En virtud del Artículo 14(5), para los sistemas de IA de alto riesgo utilizados en el ámbito de la biometría (Anexo III, punto 1), el sistema debe estar diseñado de modo que el operador no adopte ninguna acción o decisión basándose en la identificación resultante del sistema a menos que haya sido verificada y confirmada por separado por al menos dos personas físicas.

Artículo 15: Precisión, robustez y ciberseguridad

El Artículo 15 establece los requisitos de rendimiento técnico para los sistemas de IA de alto riesgo, cubriendo tres dimensiones distintas.

Precisión

El Artículo 15(1) exige que los sistemas de IA de alto riesgo estén diseñados y desarrollados de manera que alcancen un nivel apropiado de precisión, robustez y ciberseguridad, y que funcionen de manera coherente en estos aspectos a lo largo de su ciclo de vida.

En virtud del Artículo 15(2), los niveles de precisión y las métricas de precisión pertinentes deben declararse en las instrucciones de uso. Esto significa que los proveedores deben definir, medir y comunicar la precisión de sus sistemas en términos concretos y mensurables.

Robustez

El Artículo 15(4) aborda la robustez, exigiendo que los sistemas de IA de alto riesgo sean lo más resilientes posible respecto a errores, fallos o inconsistencias que puedan producirse dentro del sistema o del entorno en el que opera, en particular debido a su interacción con personas físicas u otros sistemas. Esto incluye:

• Soluciones de redundancia técnica, que pueden incluir planes de respaldo o seguridad
• Resiliencia frente a intentos de terceros no autorizados de alterar el uso o el rendimiento del sistema de IA de alto riesgo explotando sus vulnerabilidades (robustez adversarial)

Ciberseguridad

El Artículo 15(5) exige que los sistemas de IA de alto riesgo sean resilientes frente a intentos de terceros no autorizados de explotar las vulnerabilidades del sistema. Las medidas de ciberseguridad deben ser apropiadas a las circunstancias y riesgos pertinentes, y pueden incluir medidas para prevenir y controlar:

• Ataques que intentan manipular los conjuntos de datos de entrenamiento (envenenamiento de datos)
• Ataques que intentan manipular los componentes preentrenados utilizados en el entrenamiento (envenenamiento del modelo)
• Entradas diseñadas para causar que el modelo de IA cometa un error (ejemplos adversariales o evasión del modelo)
• Ataques de confidencialidad
• Defectos del modelo

Más allá de los Artículos 8-15: Obligaciones adicionales del proveedor

Si bien los Artículos 8-15 definen los requisitos técnicos y de proceso fundamentales, los proveedores de sistemas de IA de alto riesgo enfrentan varias obligaciones adicionales.

Sistema de gestión de la calidad (Artículo 17)

Los proveedores deben implementar un sistema de gestión de la calidad que garantice el cumplimiento del reglamento. El SGC debe incluir:

• Una estrategia de cumplimiento regulatorio, incluidos los procedimientos de evaluación de la conformidad y la gestión de modificaciones
• Técnicas, procedimientos y acciones sistemáticas para el diseño, el control del diseño y la verificación del diseño
• Técnicas, procedimientos y acciones para el desarrollo, el control de calidad y la garantía de calidad
• Procedimientos de examen, prueba y validación que se llevarán a cabo antes, durante y después del desarrollo, y la frecuencia de dichos procedimientos
• Especificaciones técnicas, incluidas las normas, que se aplicarán
• Sistemas y procedimientos para la gestión de datos, incluida la adquisición, recogida, análisis, etiquetado, almacenamiento, filtrado, minería, agregación, conservación y cualquier otra operación relativa a los datos
• Un sistema de gestión de riesgos como el mencionado en el Artículo 9
• Vigilancia poscomercialización, incluidas las obligaciones del Artículo 72
• Procedimientos para la notificación de incidentes en virtud del Artículo 73
• Comunicación con las autoridades competentes, otros actores pertinentes y los operadores
• Sistemas y procedimientos para la conservación de registros
• Gestión de recursos, incluidas las medidas de seguridad de suministro
• Un marco de responsabilidad

Evaluación de la conformidad (Artículo 43)

Antes de que un sistema de IA de alto riesgo pueda ser introducido en el mercado, los proveedores deben someterse a una evaluación de la conformidad para verificar que el sistema cumple con todos los requisitos aplicables. La naturaleza de esta evaluación depende del tipo de sistema de IA:

• Para la mayoría de los sistemas de IA de alto riesgo enumerados en el Anexo III, los proveedores pueden realizar la evaluación de la conformidad mediante control interno (Anexo VI), basado en un sistema de gestión de la calidad y una evaluación de la documentación técnica.
• Para los sistemas de IA de alto riesgo relacionados con la identificación biométrica (Anexo III, punto 1), y para los sistemas del Anexo I en los que la legislación sectorial exige una evaluación por terceros, debe intervenir un organismo notificado.

Declaración UE de conformidad (Artículo 47)

Tras una evaluación de la conformidad satisfactoria, el proveedor debe elaborar una declaración UE de conformidad para cada sistema de IA y mantenerla disponible durante 10 años después de que el sistema haya sido introducido en el mercado o puesto en servicio.

Marcado CE (Artículo 48)

El marcado CE debe colocarse en el sistema de IA de alto riesgo o, cuando ello no sea posible, en su embalaje o en la documentación que lo acompaña, de manera visible, legible e indeleble.

Registro (Artículo 49)

Los proveedores deben registrar su sistema de IA de alto riesgo en la base de datos de la UE (establecida en virtud del Artículo 71) antes de introducirlo en el mercado o ponerlo en servicio.

Vigilancia poscomercialización (Artículo 72)

Los proveedores deben establecer y documentar un sistema de vigilancia poscomercialización que sea proporcionado a la naturaleza y los riesgos del sistema de IA. El sistema debe recopilar, documentar y analizar activa y sistemáticamente los datos pertinentes sobre el rendimiento del sistema a lo largo de su vida útil.

Obligaciones de los operadores (Artículo 26)

Si bien los requisitos de los Artículos 8-15 se dirigen a los proveedores, los operadores de sistemas de IA de alto riesgo tienen sus propias obligaciones estrechamente vinculadas al cumplimiento del proveedor.

Requisitos clave para los operadores

En virtud del Artículo 26, los operadores deben:

• Utilizar el sistema de acuerdo con las instrucciones: Los operadores deben utilizar el sistema de IA de alto riesgo de conformidad con las instrucciones de uso proporcionadas por el proveedor.
• Asignar supervisión humana competente: Garantizar que las personas físicas asignadas a la supervisión humana sean competentes, estén debidamente formadas y tengan la autoridad y los recursos para cumplir eficazmente su función.
• Supervisar el funcionamiento: En la medida en que el operador ejerza control sobre el sistema de IA, garantizar que los datos de entrada sean pertinentes y suficientemente representativos con respecto a la finalidad prevista.
• Suspender o descontinuar el uso: Si el operador tiene razones para considerar que el uso del sistema de IA de conformidad con las instrucciones puede dar lugar a riesgos, debe suspender el sistema e informar al proveedor o distribuidor.
• Conservar los registros: Conservar los registros generados automáticamente por el sistema de IA de alto riesgo durante un período de al menos seis meses (a menos que la legislación de la Unión o nacional aplicable disponga lo contrario).
• Realizar una evaluación de impacto en los derechos fundamentales: En virtud del Artículo 27, los operadores que sean organismos de derecho público o entidades privadas que prestan servicios públicos deben realizar una evaluación de impacto en los derechos fundamentales antes de poner en uso un sistema de IA de alto riesgo.
• Informar a los trabajadores: En virtud del Artículo 26(7), los operadores deben informar a los representantes de los trabajadores y a los trabajadores afectados de que estarán sujetos al uso de un sistema de IA de alto riesgo.

Construcción de un programa de cumplimiento

Cumplir estos requisitos exige un programa de cumplimiento estructurado. A continuación se presenta un enfoque práctico.

Fase 1: Evaluación

Inventaríe sus sistemas de IA, clasifíquelos dentro del marco de riesgo e identifique cuáles son de alto riesgo. Para cada sistema de alto riesgo, realice un análisis de brechas frente a los Artículos 8-15 y las obligaciones adicionales.

Fase 2: Implementación

Aborde las brechas identificadas de manera sistemática. Establezca el sistema de gestión de riesgos, implemente prácticas de gobernanza de datos, cree la documentación técnica, construya capacidades de registro, diseñe mecanismos de supervisión humana y garantice la precisión, robustez y ciberseguridad adecuadas.

Fase 3: Verificación

Realice la evaluación de la conformidad, prepare la declaración UE de conformidad, coloque el marcado CE y registre el sistema en la base de datos de la UE.

Fase 4: Cumplimiento continuo

Mantenga el sistema de vigilancia poscomercialización, actualice la documentación a medida que el sistema evolucione, notifique los incidentes y revise periódicamente el sistema de gestión de riesgos.

Conclusión

Los requisitos para los sistemas de IA de alto riesgo en virtud del Reglamento de IA de la UE son integrales y exigentes. Abarcan todo el ciclo de vida de un sistema de IA, desde el diseño inicial hasta el despliegue y más allá. Los Artículos 8 a 15 establecen un marco que, cuando se implementa adecuadamente, garantiza que los sistemas de IA de alto riesgo sean seguros, transparentes, responsables y respetuosos con los derechos fundamentales.

La clave del cumplimiento es reconocer que estos requisitos están interconectados. El sistema de gestión de riesgos informa las decisiones de gobernanza de datos, que configuran la documentación técnica, que sustenta la transparencia, que permite la supervisión humana. Tratar estos requisitos como listas de comprobación aisladas llevará a un cumplimiento fragmentado. Tratarlos como un sistema coherente producirá tanto el cumplimiento como una mejor IA.

Las organizaciones deberían comenzar su trabajo de cumplimiento ahora, utilizando el enfoque escalonado descrito anteriormente. El plazo de agosto de 2026 para los sistemas del Anexo III y el plazo de agosto de 2027 para los sistemas del Anexo I pueden parecer lejanos, pero la profundidad de estos requisitos significa que la preparación no puede posponerse.