Prácticas de IA prohibidas en virtud del Reglamento de IA de la UE

El Artículo 5 del Reglamento de IA de la UE (Reglamento 2024/1689) traza una línea infranqueable. Determinados usos de la inteligencia artificial se consideran tan fundamentalmente incompatibles con los valores de la UE — la dignidad humana, la no discriminación, la democracia y el Estado de derecho — que están prohibidos de forma absoluta, independientemente de las salvaguardias que un proveedor u operador pueda implementar.

Estas prohibiciones entraron en vigor el 2 de febrero de 2025, convirtiéndose en las primeras disposiciones del reglamento en ser exigibles. Las infracciones conllevan el nivel de sanción más elevado: hasta 35 millones de EUR o el 7 % del volumen de negocios anual global.

Unacceptable Risk

Este artículo examina en detalle cada práctica prohibida, explica la justificación de la prohibición e identifica las excepciones limitadas cuando existen.

1. Técnicas de IA manipuladoras y engañosas

El Artículo 5(1)(a) prohíbe la introducción en el mercado, la puesta en servicio o el uso de sistemas de IA que desplieguen técnicas subliminales más allá de la conciencia de una persona, o técnicas deliberadamente manipuladoras o engañosas, con el objetivo o efecto de distorsionar materialmente el comportamiento de una persona de una manera que cause o sea razonablemente probable que cause un daño significativo.

Qué abarca

Esta prohibición se dirige a los sistemas de IA diseñados para manipular la toma de decisiones humana de maneras que las personas no pueden percibir ni resistir. Algunos ejemplos incluyen:

• Interfaces impulsadas por IA que utilizan patrones oscuros mejorados por algoritmos de personalización para manipular las decisiones de compra de formas que causan daño financiero
• Sistemas que despliegan estímulos auditivos o visuales subliminales para influir en el comportamiento sin la conciencia de la persona
• Sistemas de persuasión basados en deepfakes diseñados para engañar a las personas para que actúen en contra de sus intereses
• Sistemas de IA que explotan sesgos cognitivos de manera sistemática y personalizada para distorsionar el comportamiento

Matices clave

La prohibición requiere que la manipulación cause o sea razonablemente probable que cause un daño significativo — físico, psicológico o financiero. La publicidad estándar, los algoritmos de recomendación y el diseño persuasivo no están automáticamente prohibidos. El umbral es la manipulación que va más allá de la influencia legítima y entra en el territorio de la explotación o el engaño.

2. Explotación de vulnerabilidades

El Artículo 5(1)(b) prohíbe los sistemas de IA que explotan las vulnerabilidades de una persona o un grupo específico de personas debido a su edad, discapacidad o situación social o económica específica, con el objetivo o efecto de distorsionar materialmente su comportamiento de una manera que cause o sea razonablemente probable que cause un daño significativo.

Qué abarca

Esto va más allá de la prohibición general de manipulación para proteger específicamente a los grupos que pueden ser menos capaces de identificar o resistir la influencia impulsada por IA:

• Sistemas de IA que dirigen a personas mayores productos financieros engañosos diseñados para explotar su menor alfabetización digital
• Sistemas de juegos o aplicaciones diseñados para explotar la susceptibilidad de los niños a mecánicas adictivas
• Algoritmos de préstamos predatorios que se dirigen específicamente a personas en dificultades financieras
• Sistemas de estafa impulsados por IA que perfilan y se dirigen a personas con indicadores de deterioro cognitivo

Relación con la prohibición de manipulación

Mientras que el Artículo 5(1)(a) se aplica a la población en general, esta disposición se aplica incluso cuando el umbral de manipulación podría ser más bajo. La vulnerabilidad del grupo afectado significa que técnicas menos agresivas pueden cruzar la línea hacia el territorio prohibido.

3. Puntuación social por las autoridades públicas

El Artículo 5(1)(c) prohíbe los sistemas de IA utilizados por las autoridades públicas (o en su nombre) para evaluar o clasificar a personas físicas durante un período de tiempo determinado basándose en su comportamiento social o en características personales o de personalidad conocidas, inferidas o predichas, cuando la puntuación social resultante conduzca a:

• Un trato perjudicial o desfavorable de las personas en contextos sociales no relacionados con los contextos en los que se generaron o recopilaron los datos originalmente, o
• Un trato perjudicial o desfavorable que sea injustificado o desproporcionado en relación con su comportamiento social o su gravedad

Qué abarca

Esta es la prohibición del "sistema de crédito social al estilo chino". Impide que las autoridades públicas:

• Agreguen datos de múltiples ámbitos de la vida de una persona (comportamiento financiero, actividad en redes sociales, patrones de viaje) en una puntuación conductual única que determine el acceso a servicios públicos
• Utilicen la IA para crear calificaciones de fiabilidad ciudadana que afecten a derechos o prestaciones
• Desplieguen sistemas de policía predictiva que asignen puntuaciones de riesgo a las personas basándose en el comportamiento social y utilicen esas puntuaciones para justificar restricciones preventivas

Qué no abarca

La prohibición se dirige específicamente a las autoridades públicas. La calificación crediticia del sector privado, la evaluación del riesgo de seguros y prácticas similares no están prohibidas en virtud de esta disposición — aunque pueden clasificarse como de alto riesgo en virtud del Anexo III y estar sujetas a requisitos estrictos.

Además, la prohibición requiere que el trato perjudicial sea (a) en un contexto no relacionado o (b) desproporcionado. Una autoridad pública que utilice la IA para evaluar un comportamiento relevante en el mismo contexto (por ejemplo, datos de cumplimiento fiscal para evaluar el riesgo fiscal) no entraría automáticamente en esta prohibición.

4. Policía predictiva individual

El Artículo 5(1)(d) prohíbe los sistemas de IA que realizan evaluaciones de riesgo de personas físicas para evaluar o predecir el riesgo de que una persona cometa un delito, basándose únicamente en la elaboración de perfiles de una persona o en la evaluación de sus rasgos y características de personalidad.

Qué abarca

Esto prohíbe la policía predictiva basada puramente en perfiles — sistemas que señalan a individuos como probables delincuentes basándose en quiénes son en lugar de en lo que han hecho:

• Sistemas de IA que predicen la probabilidad de que un individuo cometa un delito basándose en datos demográficos, evaluaciones de personalidad o características sociales
• Herramientas de puntuación de riesgo que evalúan la propensión delictiva basándose únicamente en el barrio, los antecedentes familiares o indicadores socioeconómicos

La excepción crítica

La prohibición no se aplica a los sistemas de IA que apoyan la evaluación humana de la implicación en actividad delictiva basándose en hechos objetivos y verificables directamente vinculados a la actividad delictiva. En otras palabras, la IA que ayuda a analizar pruebas de comportamiento delictivo real está permitida; la IA que predice la criminalidad futura basándose únicamente en características personales no lo está.

5. Recopilación no selectiva para bases de datos de reconocimiento facial

El Artículo 5(1)(e) prohíbe los sistemas de IA que crean o amplían bases de datos de reconocimiento facial mediante la recopilación no selectiva de imágenes faciales de Internet o de grabaciones de circuito cerrado de televisión.

Qué abarca

Esta disposición se dirige directamente a prácticas como las de Clearview AI, que construyó una base de datos de reconocimiento facial recopilando miles de millones de imágenes de redes sociales y de Internet público:

• Rastrear plataformas de redes sociales, sitios de noticias o sitios web públicos para recopilar imágenes faciales para la construcción de bases de datos biométricas
• Recoger grabaciones de circuito cerrado de televisión para construir bases de datos de identificación sin el conocimiento ni el consentimiento de las personas captadas
• Cualquier recopilación sistemática y no selectiva de imágenes faciales para entrenar o poblar sistemas de reconocimiento facial

Qué no abarca

La prohibición se refiere a la recopilación no selectiva. Las bases de datos de reconocimiento facial construidas a partir de imágenes recopiladas con la base jurídica adecuada — por ejemplo, bases de datos de fotografías policiales mantenidas por las fuerzas del orden con autoridad legal específica, o bases de datos construidas con imágenes proporcionadas con consentimiento informado — no están prohibidas en virtud de esta disposición. Sin embargo, pueden estar sujetas a los requisitos del RGPD y otras obligaciones del Reglamento de IA.

6. Reconocimiento de emociones en lugares de trabajo y centros educativos

El Artículo 5(1)(f) prohíbe los sistemas de IA que infieren las emociones de una persona física en el ámbito del trabajo y la educación, salvo que el sistema de IA esté destinado a ser utilizado por razones médicas o de seguridad.

Qué abarca

Esto prohíbe el uso de IA de reconocimiento de emociones en dos contextos específicos:

• Lugares de trabajo: Sistemas de IA que supervisan las expresiones faciales, el tono de voz o las señales fisiológicas de los empleados para evaluar su estado emocional — con fines de evaluación del rendimiento, seguimiento del compromiso o gestión
• Instituciones educativas: Sistemas que rastrean las emociones de los estudiantes durante las clases o los exámenes — ya sea para la supervisión de la atención, la puntuación del compromiso o la evaluación del comportamiento

La excepción médica y de seguridad

El reconocimiento de emociones está permitido en lugares de trabajo y entornos educativos cuando se utiliza para:

• Fines médicos: Sistemas que detectan signos de angustia, fatiga o condiciones médicas (como supervisar el estado de alerta de un conductor de camión o detectar signos de una emergencia médica de un estudiante)
• Razones de seguridad: Sistemas diseñados para garantizar la seguridad física (como detectar somnolencia en operadores de maquinaria pesada)

7. Categorización biométrica para atributos sensibles

El Artículo 5(1)(g) prohíbe los sistemas de IA que categorizan a personas físicas basándose en sus datos biométricos para deducir o inferir características sensibles, específicamente:

• Raza u origen étnico
• Opiniones políticas
• Afiliación sindical
• Creencias religiosas o filosóficas
• Vida sexual u orientación sexual

Qué abarca

Esto prohíbe los sistemas de IA que analizan rasgos faciales, la forma de caminar, los patrones de voz u otros datos biométricos para clasificar a las personas en categorías basadas en características protegidas:

• Sistemas de análisis facial que afirman determinar la etnia, la religión o la orientación sexual de una persona
• Herramientas de análisis de voz que intentan inferir tendencias políticas
• Sistemas de análisis de la marcha que categorizan a las personas por raza

Qué no abarca

La prohibición se aplica a la categorización biométrica — la clasificación sistemática de individuos. No prohíbe todo el tratamiento de datos biométricos. Por ejemplo, el tratamiento de datos biométricos con fines de verificación de identidad (como el reconocimiento facial o de huellas dactilares para autenticación) queda fuera de esta disposición, aunque sigue sujeto al RGPD y potencialmente a los requisitos de los sistemas de IA de alto riesgo.

El reglamento también prevé una excepción para el etiquetado o filtrado de conjuntos de datos biométricos obtenidos legalmente en el ámbito de la aplicación de la ley — por ejemplo, filtrar imágenes por color de pelo para acotar una búsqueda en una investigación criminal.

8. Identificación biométrica remota en tiempo real en espacios públicos

El Artículo 5(1)(h) prohíbe el uso de sistemas de identificación biométrica remota en tiempo real en espacios de acceso público con fines de aplicación de la ley, sujeto a excepciones específicas.

Qué abarca

Esta es la prohibición más debatida del reglamento. Prohíbe el reconocimiento facial en directo y otras formas de identificación biométrica en tiempo real en espacios públicos por o para las fuerzas del orden:

• Sistemas de circuito cerrado de televisión en directo que identifican automáticamente a las personas comparando sus rostros con una lista de vigilancia
• Rastreo de peatones en tiempo real mediante reconocimiento de la marcha u otros identificadores biométricos
• Dispositivos móviles de identificación biométrica utilizados por la policía para identificar a personas en público en tiempo real

Las excepciones limitadas

A diferencia de otras prohibiciones, esta viene con excepciones cuidadosamente definidas. La identificación biométrica remota en tiempo real en espacios públicos por las fuerzas del orden se permite solo para:

1. Búsqueda selectiva de víctimas de secuestro, trata o explotación sexual, y búsqueda de personas desaparecidas
2. Prevención de una amenaza específica, sustancial e inminente para la vida o la seguridad física de las personas, o una amenaza genuina y presente o previsible de un ataque terrorista
3. Identificación de un sospechoso de un delito castigado con una pena privativa de libertad de al menos cuatro años (para delitos específicos enumerados en el reglamento)

Salvaguardias para las excepciones

Incluso cuando se aplican estas excepciones, el Artículo 5(2) impone condiciones estrictas:

• Cada uso debe ser autorizado por una autoridad judicial o una autoridad administrativa independiente (con revisión judicial ex post dentro de las 24 horas en casos de urgencia)
• El uso debe ser necesario y proporcionado — la autoridad debe realizar una evaluación de impacto en los derechos fundamentales
• El uso debe estar limitado en el tiempo, alcance geográfico y número de personas a las que va dirigido
• Cada uso debe ser notificado a la autoridad de vigilancia del mercado y a la autoridad de protección de datos pertinentes
• Cada uso debe ser registrado en la base de datos de la UE para sistemas de IA de alto riesgo

Cómo interactúan las prácticas prohibidas con la clasificación de riesgos

El marco basado en riesgos del Reglamento de IA de la UE sitúa las prácticas prohibidas en la cúspide:

Unacceptable Risk Prohibidas de plano — ningún grado de cumplimiento puede hacerlas lícitas.

High Risk Sujetas a requisitos estrictos pero permitidas con salvaguardias.

Limited Risk Principalmente sujetas a obligaciones de transparencia.

Minimal Risk Sin obligaciones específicas (se fomentan códigos de conducta voluntarios).

La distinción crítica es que los sistemas de alto riesgo pueden cumplir mediante medidas técnicas y organizativas. Las prácticas prohibidas no. Si su sistema de IA entra en el Artículo 5, la única actuación conforme es no desplegarlo — o rediseñarlo fundamentalmente para que ya no cumpla los criterios de prohibición.

Qué deben hacer las organizaciones ahora

Las prohibiciones son exigibles desde el 2 de febrero de 2025. Las organizaciones deberían tomar medidas inmediatas:

1. Audite su cartera de IA

Revise cada sistema de IA que desarrolla, despliega o distribuye. Para cada sistema, evalúe si algún aspecto de su funcionalidad podría entrar en las prohibiciones del Artículo 5. Preste especial atención a:

• Sistemas que impliquen el tratamiento de datos biométricos
• Sistemas que personalicen contenido o recomendaciones de maneras que puedan considerarse manipuladoras
• Sistemas utilizados en RRHH, educación o toma de decisiones del sector público
• Sistemas que perfilan o categorizan a personas

2. Documente su análisis

Para cualquier sistema que opere en un área adyacente a una prohibición (por ejemplo, un sistema de recomendación, una herramienta de análisis de RRHH o un sistema de autenticación biométrica), documente su análisis de por qué no entra en las categorías prohibidas. Esta documentación será invaluable si un regulador cuestiona su clasificación.

3. Implemente salvaguardias técnicas

Cuando un sistema pueda teóricamente reutilizarse para un uso prohibido, implemente controles técnicos que prevengan dicha reutilización. Por ejemplo, si proporciona tecnología de reconocimiento facial para verificación de identidad, asegúrese de que la arquitectura de su sistema impida su uso para la recopilación no selectiva o la categorización biométrica de atributos sensibles.

4. Forme a sus equipos

Asegúrese de que los gestores de productos, ingenieros, científicos de datos y equipos de adquisiciones comprendan las prácticas prohibidas y puedan identificar posibles problemas en las primeras etapas del ciclo de desarrollo o adquisición.

Conclusión

Las prácticas prohibidas del Reglamento de IA de la UE representan la declaración de principios más clara del reglamento: algunos usos de la IA son simplemente inaceptables en una sociedad democrática. Desde la puntuación social hasta las técnicas subliminales manipuladoras, desde la recopilación no selectiva de reconocimiento facial hasta la vigilancia emocional en escuelas y lugares de trabajo, estas prohibiciones definen los límites exteriores del uso legal de la IA en Europa.

Con la aplicación ya activa y sanciones que alcanzan hasta el 7 % del volumen de negocios global, comprender estas prohibiciones no es opcional. Toda organización que trabaje con IA en el mercado de la UE debe saber exactamente dónde están las líneas rojas — y asegurarse de que se encuentra en el lado correcto.