El AI Act y sus implicaciones para las organizaciones

A medida que la IA sigue avanzando y consolidándose en diversos sectores de la sociedad, se hace cada vez más patente la necesidad de establecer marcos reguladores sólidos. Debido al profundo impacto que las tecnologías de IA pueden tener en las personas, las empresas y las sociedades, en abril de 2021 la Unión Europea propuso el AI Act, la primera normativa global destinada a garantizar la protección de los derechos fundamentales de las personas y el desarrollo y uso responsables de la IA. Esta regulación pionera no solo pretende definir las funciones y responsabilidades de los implicados en los sistemas de IA, sino que también clasifica estos sistemas en tipos de riesgo, con requisitos a medida diseñados para proteger la seguridad pública, las normas éticas y los derechos humanos. Al mismo tiempo, la regulación pretende reducir las cargas administrativas y financieras para las empresas, en particular las pequeñas y medianas (PYME).

El AI Act forma parte de un paquete más amplio de medidas regulatorias para apoyar el correcto desarrollo de una IA de confianza, que también incluye el Paquete de Innovación en IA y el Plan Coordinado sobre IA. En conjunto, estas medidas garantizan la seguridad y los derechos fundamentales de las personas y las empresas en relación con la IA. También refuerzan la adopción, la inversión y la innovación en IA en toda la UE. 

El AI Act entró en vigor el 1 de agosto de 2024 y es de plena aplicación dos años después, con algunas excepciones: las prohibiciones entran en vigor a los seis meses; las normas de gobernanza y las obligaciones para los modelos de IA de propósito general son de aplicación a los 12 meses; y las normas para los sistemas de IA -incorporados en productos regulados- se aplican a los 36 meses. Para facilitar la transición al nuevo marco normativo, la Comisión ha puesto en marcha el Pacto de la IA, una iniciativa voluntaria que pretende apoyar la futura aplicación e invita a los desarrolladores de IA de Europa y de fuera de ella a cumplir con antelación las principales obligaciones de la Ley de la IA.

Sin embargo, este posicionamiento ante la IA no es homogéneo por parte de las distintas jurisdicciones. Por ejemplo, en Estados Unidos se han publicado diversos documentos con principios y guías para que la IA se utilice de un modo responsable y seguro (como la Carta de Derechos en IA de 2022, el marco de gestión de riesgos de la IA, y la Orden ejecutiva sobre principios para el desarrollo y uso de una IA segura y confiable de 2023, o los documentos asociados para interpretar la implementación de dicha Orden de 2024). En China, diversas agencias estatales publicaron en 2023 un conjunto de medidas administrativas provisionales para el desarrollo de servicios de inteligencia artificial generativa. En Latinoamérica se está trabajando en la adopción de regulaciones que abordan algunos aspectos del uso de sistemas de IA (como las iniciativas presentadas en México para la ética de la Inteligencia Artificial de 2023, el reglamento para promover el uso de la IA en favor del desarrollo económico y social de Perú de 2023, o la ley sobre el desarrollo, la promoción y el uso ético y responsable de la inteligencia artificial de Brasil, aprobada a final de 2024). No obstante, ninguna de estas regulaciones, principios o iniciativas tienen el carácter coercitivo y comprensivo de la Ley de la IA europea (a excepción de la ley de Brasil, que presenta similitudes con la europea). Por ello, esta ley sitúa a la Unión Europea a la vanguardia de la regulación, aunque puede incrementar las diferencias en el entorno competitivo con otras jurisdicciones.

En esta publicación se repasan los elementos clave del reglamento, se exploran las implicaciones para las organizaciones y se desarrolla un caso de uso para ayudar a comprender algunos aspectos prácticos descritos en el documento.
 

2. El AI Act: resumen de los principales requisitos

En este capítulo se repasan los principales requisitos del AI Act para los sistemas de IA, y se destacan los nuevos requisitos que deben seguir las organizaciones para utilizar la IA de forma responsable.

Definición de un sistema de IA e identificación de funciones

Según el AI Act, un sistema de IA se define como un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales. En otras palabras, los sistemas de IA no responden necesariamente a un conjunto de instrucciones predefinidas, sino que aprenden, se adaptan y evolucionan de forma que pueden adaptar directamente los resultados a la realidad actual.

El AI Act también ofrece otras definiciones importantes que aclaran funciones cruciales en los proyectos relacionados con la IA, como las de proveedor e implantador. Un proveedor es una persona física o jurídica que desarrolla un sistema de IA o un modelo de IA de propósito general y lo comercializa, ya sea con su propio nombre o bajo una marca, previo pago o gratuitamente. Un implantador, por su parte, es una persona física o jurídica que utiliza un sistema de IA creado por otra entidad bajo su propia autoridad. La distinción entre estas dos entidades es clave en la normativa, ya que cada una tiene sus propias responsabilidades.

El ámbito de aplicación de este Reglamento se limita a la Unión Europea; afecta a los proveedores e implantadores con sede en la UE. No obstante, los proveedores de fuera de la Unión Europea deben cumplir los requisitos establecidos en el AI Act si desean que sus sistemas se implanten dentro de la Unión. 

El AI Act establece una clasificación para los sistemas de inteligencia artificial basada en el nivel de riesgo que suponen para la seguridad, los derechos fundamentales y el bienestar general. A continuación, se detallan las principales categorías de riesgo en las que se clasifican estos sistemas (ver esquema). 

1. Sistemas de IA prohibidos

El AI Act prohíbe los sistemas de IA que plantean riesgos inaceptables para las personas o la sociedad. Entre ellos se incluyen las tecnologías diseñadas para manipular inconscientemente el comportamiento de las personas o explotar sus vulnerabilidades, como usar IA sobre niños o personas con discapacidad para influir en su toma de decisiones. También prohíbe la elaboración de perfiles de diferenciación en los que se clasifica a las personas en función de sus características con fines poco éticos, y los sistemas de puntuación social, que juzgan o restringen a las personas en función de sus datos personales, sus rasgos o características de su personalidad.
El reconocimiento biométrico remoto en tiempo real también está prohibido en el AI Act, para proteger la intimidad y los derechos fundamentales de los ciudadanos. Solo en casos debidamente justificados, como las actividades judiciales, se permitirán este tipo de prácticas.

2. Sistemas de IA de alto riesgo

Los sistemas de IA de alto riesgo son aquellos que, si fallan o se utilizan incorrectamente, pueden afectar significativamente a la seguridad, la salud o los derechos fundamentales de las personas. Aunque estos sistemas están permitidos, deben cumplir una normativa estricta en materia de conformidad, seguridad y transparencia antes de su despliegue.
Estos sistemas se encuentran en diversos sectores, como la medicina, la gestión de infraestructuras críticas, la educación o el empleo. En educación, por ejemplo, un sistema de IA podría afectar a las evaluaciones de los estudiantes y a los procesos de admisión, por lo que es crucial garantizar que estos sistemas sean justos e imparciales. Del mismo modo, en el empleo, la IA se utiliza cada vez más para la contratación y las evaluaciones de rendimiento, lo que suscita preocupación por la posible discriminación y la necesidad de prácticas transparentes. Además, la IA de alto riesgo desempeña un papel importante en los servicios esenciales: la aplicación de la ley, la gestión de la migración y el sistema judicial, donde su impacto en la seguridad y los derechos fundamentales se vigila de cerca.

3. Resto de sistemas de IA  

Los sistemas de IA que no se clasifican en las categorías anteriores se consideran de bajo riesgo. En relación con los sistemas de propósito general que no estén clasificados como alto riesgo, el AI Act define la noción de riesgo sistémico para estos sistemas. Se considera que un sistema de IA de propósito general tiene riesgo sistémico si su alcance es suficientemente elevado, ya sea por manejar grandes cantidades de datos o por afectar a un gran número de personas. También se considera que tienen riesgo sistémico los sistemas de IA con altos niveles de complejidad, concretamente los que superan las 1025 operaciones en coma flotante (floating point) durante su entrenamiento.

Requisitos de los sistemas de IA de alto riesgo

Cuando un sistema de IA se considera de alto riesgo, todas las partes y agentes que intervienen en su uso y desarrollo deben cumplir varios requisitos. A continuación, se resumen los principales requisitos normativos que deben cumplir estos sistemas según el AI Act.

Todos los sistemas de IA de alto riesgo deben contar con un plan detallado de gestión de riesgos. Su principal objetivo es evaluar los posibles riesgos en los que podría incurrir el sistema de IA mientras se utiliza para los fines previstos y adoptar medidas para gestionarlos y mitigarlos. Este plan debe revisarse y actualizarse constantemente y debe considerar tantos escenarios como sea posible, para asegurarse de su integridad y eficacia general.

Los sistemas de IA se basan en datos para su entrenamiento, validación y testeo. La calidad de estos datos está en correlación directa con el rendimiento del sistema. En el caso de los sistemas de IA de alto riesgo, debe prestarse especial atención a garantizar la calidad de los datos que utiliza. Esto afecta a todas las etapas en las que intervienen los datos: recopilación, preparación, estructuración y actualización. Uno de los puntos más relevantes es asegurarse de que los datos que se utilizan son lo más completos posible, están libres de errores y no presentan ningún sesgo. 

Dada la complejidad de muchos sistemas de IA, es esencial que los de alto riesgo proporcionen una documentación técnica completa y accesible antes de su despliegue. Esta documentación debe abarcar todos los componentes, incluidos los datos utilizados para el desarrollo, una descripción detallada del funcionamiento del sistema, los modelos preentrenados que utiliza y el plan de gestión de riesgos. El objetivo es que el sistema sea lo más comprensible posible para los usuarios, con instrucciones claras sobre su uso, finalidad, precisión y posibles riesgos o fallos de funcionamiento.

Para ayudar a los proveedores a crear esta documentación, la UE ofrecerá formularios normalizados con la información requerida. Las pequeñas empresas, incluidas las de nueva creación, se beneficiarán de una versión simplificada de estos formularios.

El nuevo Reglamento subraya la importancia de la transparencia para los sistemas de IA de alto riesgo. Los proveedores de sistemas de IA de alto riesgo no solo deben presentar su plan de gestión de riesgos a las autoridades de la UE; cualquiera que utilice un sistema de IA de alto riesgo debe conocer siempre su finalidad, precisión, riesgos potenciales y cómo interpretar los resultados que arroja el sistema. Para ello, los sistemas deben diseñarse de modo que sean lo más accesibles posible, al tiempo que sus proveedores deben mostrarse disponibles facilitando información de contacto a sus usuarios.

La velocidad a la que crecen los modelos de IA en términos de precisión, eficacia y capacidades es asombrosa. Cada pocos meses las empresas tecnológicas más importantes introducen actualizaciones y mejoras en sus modelos que mejoran significativamente su rendimiento general. Sin embargo, todos estos modelos pueden cometer errores de vez en cuando, incluso en las tareas más sencillas. Es poco probable que esto se resuelva pronto, sobre todo teniendo en cuenta el factor probabilístico que existe en casi todos los modelos avanzados de IA. Por lo tanto, siempre es conveniente que los usuarios de IA tengan la opción de supervisar o analizar el resultado dado por un sistema de IA antes de validarlo. Con el AI Act, esto será obligatorio para los sistemas de IA de alto riesgo. 

La legislación establece que estos sistemas deben construirse de modo que faciliten este procedimiento: su salida debe ser legible y clara para el usuario. Además, estos sistemas deben señalar ciertas tendencias o prejuicios que tiene su modelo, especialmente para aquellos modelos diseñados para crear recomendaciones para las decisiones que deben tomar las personas físicas. Siempre debe existir la opción de modificar o anular la salida dada por un sistema de IA de alto riesgo y el usuario siempre debe tener la posibilidad de detener los procedimientos de un sistema de IA de alto riesgo.

Los sistemas de IA de alto riesgo deben incluir planes detallados de ciberseguridad, ya que podrían ser blanco de ciberataques por su impacto potencial en la salud, los derechos fundamentales o la toma de decisiones. Aunque muchos sistemas de IA ya cuentan con medidas de seguridad, el AI Act exige que los sistemas de alto riesgo incorporen acciones específicas dentro de su plan de gestión de riesgos para garantizar que están preparados ante posibles fallos de seguridad.

Estas medidas de seguridad también cubren los riesgos internos, como sesgos, incoherencias o fallos dentro del propio modelo. Los sistemas de IA de alto riesgo deben diseñarse para detectar estos problemas e incluir planes de respaldo para abordarlos y corregirlos.

Requisitos de los sistemas de IA de propósito general

El conjunto de requisitos que deben cumplir los sistemas de IA de propósito general es bastante reducido en comparación con los de alto riesgo. Sin embargo, esto no significa que estos sistemas estén exentos de requerimientos regulatorios. Están obligados a aplicar algunas medidas de seguridad y accesibilidad, que se vuelven más restrictivas cuando se trata de sistemas de IA de propósito general con riesgo sistémico.

Todos los sistemas de IA deben elaborar una documentación técnica del modelo, que debe incluir una descripción básica, su uso previsto, información sobre cómo se ha entrenado o probado el modelo y los datos que ha utilizado. Esta información debe ser accesible a las autoridades de la UE previa solicitud y actualizarse constantemente.
Por otra parte, los modelos de IA de propósito general deben proporcionar información sobre el funcionamiento del modelo a sus implantadores. La idea subyacente es que los usuarios que pretendan utilizar estos modelos o integrarlos en sus propios sistemas de IA dispongan de información suficiente para utilizarlo correctamente y evitar cualquier riesgo potencial de mal uso. Esta información, por tanto, debe ser un poco más técnica que la mencionada anteriormente, y debe incluir detalles sobre el formato de los datos de entrada y salida, el software o hardware necesario para su uso y la arquitectura general del modelo. De estas instrucciones debe desprenderse claramente cómo puede integrar el modelo un usuario, qué datos necesita, y cómo entrenarlo y probarlo.

Todos los modelos de IA de propósito general deben tener esta información, excepto los que son gratuitos y funcionan con una licencia de código abierto; es decir, modelos cuyos parámetros, arquitectura y desarrollo general están abiertos al público y pueden ser modificados por el usuario.

Requisitos de los sistemas de IA de uso general con riesgo sistémico

Si se considera que un sistema de IA de propósito general presenta un riesgo sistémico, además de los requisitos que se acaban de mencionar, también debe satisfacer medidas adicionales para evitar cualquier amenaza potencial derivada de este riesgo detectado.

Dado que estos modelos pueden ser muy complejos, deben evaluarse adecuada y exhaustivamente para valorar su rendimiento global. Estas pruebas deben realizarse también en condiciones adversas, es decir, en condiciones en las que el sistema de IA pueda incurrir en cualquier riesgo potencial, con vistas a identificar y mitigar los riesgos sistémicos.
Siempre que se detecten estos riesgos, deben comunicarse inmediatamente a las autoridades competentes, junto con las medidas correctoras para hacerles frente. El usuario final o el implantador siempre deben tener en cuenta estos posibles riesgos al utilizar el modelo.

Transparencia de la IA

El uso de la IA es cada vez más popular en nuestro día a día. Es tan común, que puede haber situaciones en las que el usuario final no es consciente de que está interactuando con un sistema de IA. Esto puede ser bastante peligroso, especialmente en la era de la desinformación, las noticias falsas o las recomendaciones sesgadas.

La ley sobre IA pretende regular este aspecto garantizando que, siempre que se trate de un sistema de IA, el usuario tenga claro que está interactuando con un sistema de IA. Esto afecta a todas las formas de salida de los modelos de IA, ya sea texto, audio, imagen o vídeo. Es una obligación para los desarrolladores del modelo que el usuario pueda ver fácilmente que la salida es generada artificialmente.

Adicionalmente, otras restricciones aplican a la categorización biométrica o al reconocimiento de emociones: siempre que se apliquen este tipo de modelos, las personas afectadas deben ser conscientes de ello, para que puedan ejercer sus derechos de acuerdo con el resto de la normativa europea al respecto.
La excepción más notable a estas políticas de transparencia es cuando se trata de medidas de seguridad. Cuando se trate de detectar, prevenir o investigar un delito, se podrán levantar algunas de estas restricciones. Sin embargo, las autoridades competentes deben documentar adecuadamente los motivos para hacerlo y deben contar con los respectivos permisos judiciales y administrativos para ello. Gran parte de los tecnicismos de este reglamento consisten en explicar los pretextos bajo los cuales las autoridades pueden saltarse estas restricciones, ya que la UE tiene un gran interés en preservar los derechos fundamentales relativos a la privacidad y la seguridad general de sus ciudadanos.

3. Implicaciones del AI Act para las organizaciones

El AI Act puede plantear diferentes cuestiones en cuanto a sus implicaciones para las organizaciones: ¿Cómo puede adaptarse cualquier organización a esta normativa? ¿Qué pasos deben seguirse para cumplirla? ¿Cómo puede lograrse una integración satisfactoria de la IA?

Estas cuestiones pueden abordarse creando y aplicando un plan detallado para la adopción de la IA en la organización, teniendo en cuenta el nuevo marco regulador establecido en el AI Act. 

Plan de integración de la IA: 4 pasos para integrar con éxito la IA en una organización

1. Definición de una estrategia de IA y desarrollo de un marco de IA

El primer paso es desarrollar una estrategia de IA, que debe definir la posición de la organización sobre el uso de la IA, establecer el ámbito de su aplicación y el nivel deseado de adopción de la IA en todos los niveles de la organización. 

Esta estrategia debería materializarse en la definición de un marco de IA y un plan de adopción, alineados con los elementos previamente definidos en la estrategia, detallando hitos, partes interesadas y necesidades presupuestarias. Este marco incluiría al menos la revisión y posible evolución de los siguientes componentes:

• Gobernanza y organización: definición de roles, funciones, responsabilidades y comités en el marco de la IA; actualización del modelo de las tres líneas de defensa; necesidad de actualizar las competencias de cada área para garantizar la capacidad de llevar a cabo las responsabilidades asignadas; decisión sobre la creación de estructuras específicas para la modelización y el apoyo a las necesidades empresariales.
• Políticas y procedimientos: definición y actualización de las políticas y procedimientos afectados por la incorporación de la IA: desarrollo y validación de modelos, uso, protección de datos, ética, gestión del riesgo de modelo, riesgo operativo, políticas de proveedores, protección de datos y ciberseguridad, etc. 
• Tecnología y necesidades de datos: revisión de las necesidades informáticas, la estructura y los entornos que deben crearse (sandboxes, desarrollo, despliegue, etc.), para garantizar un sólido rendimiento de la construcción y el uso de modelos y sistemas de IA. Esto implica seleccionar la infraestructura de la nube, la capacidad computacional y las necesidades de almacenamiento, al tiempo que se gestionan los costes y los riesgos de los proveedores. Podrían aprovecharse las infraestructuras de hardware especializado, computación distribuida y Big Data en aras de la eficiencia. El marco debe apoyar la evolución a partir de sistemas heredados, permitiendo una integración y un mantenimiento sin fisuras en los entornos de desarrollo, pruebas y producción (por ejemplo, MLOps).
• Definición y selección de casos de uso / priorización: listado extenso de casos de uso; definición de un análisis detallado de beneficios, costes y riesgos; sistemas que se utilizarán; medios para supervisar el rendimiento y los resultados.
• Cultura corporativa: definir y garantizar un plan completo de actualización, reciclaje y difusión de la cultura de la IA en toda la organización, para garantizar un uso eficaz, responsable y seguro de la IA. Los programas de formación a medida deben abarcar las capacidades técnicas, las consideraciones éticas y las implicaciones prácticas de la IA en las operaciones diarias.

2. Operativización

El marco definido necesita una operativización adecuada, que incluya al menos los siguientes aspectos:

• El ajuste y la modificación de las políticas, o la creación de otras nuevas, que deben aprobarse al nivel apropiado.
• La creación de metodologías y herramientas para la aplicación real del marco:
  -    Metodologías para el diseño y la creación de sistemas de IA y su validación (incluidos conceptos como el análisis y el tratamiento del sesgo y la imparcialidad, la interpretabilidad, la robustez, etc.).
  -    Elementos para la gestión de los modelos (proceso de clasificación por niveles y riesgos, proceso de comprobación del cumplimiento de la normativa, documentación prevista, proceso de supervisión, indicadores y KPI, adaptación de las herramientas existentes de gestión de riesgos e inventario de modelos, etc.).
  -    Procesos y herramientas para medir y gestionar los riesgos emergentes o amplificados por el uso de la IA.
  -    Necesidades de información (paneles de control, informes internos, documentación externa que debe enviarse a la UE en caso de modelos de alto riesgo, etc.).
• Definición y establecimiento a bajo nivel de la infraestructura informática, la arquitectura y las necesidades de datos. Implementación de funciones clave, como medidas de seguridad, gestión de datos en tiempo real e interacciones optimizadas del sistema. 
• Integración con el marco de datos: establecimiento de procesos exhaustivos para adquirir y gestionar datos diversos y de alta calidad, garantizando la fiabilidad, la trazabilidad, el uso ético y el cumplimiento de la normativa. 

3. Fase de pruebas

Aplicación del marco implementado, utilizando las herramientas y el entorno para construir un conjunto limitado pero representativo de casos de uso, con el fin de garantizar que todos los elementos se han configurado correctamente, y realizar un ajuste de aquellos elementos que puedan requerirlo. Esta fase podría realizarse en paralelo a la operativización. 

4. Despliegue completo y gestión del cambio

Una vez probado el marco, puede implantarse en toda la organización. Para garantizar una integración y un despliegue fluidos del marco en la organización, hay que considerar un enfoque estratégico de la gestión del cambio. Un primer paso crucial es desarrollar un proceso de participación de las partes involucradas. Esto implica identificar a las principales partes involucradas, internas y externas, comprender sus expectativas e implicarlas activamente en el proceso de adopción de la IA. La comunicación transparente es vital, ya que fomenta la confianza y ayuda a abordar las preocupaciones sobre el impacto de la IA en las funciones, los flujos de trabajo y la estrategia organizativa en general. Las actualizaciones periódicas sobre el progreso de los proyectos de IA, sus objetivos y sus beneficios potenciales pueden ayudar a alinear todos los niveles de la organización. 
Además, más allá de la formación inicial, deben existir mecanismos de mejora continua que fomenten los comentarios de los usuarios y adapten los sistemas y procesos de IA a las necesidades cambiantes. Cultivando una cultura de aprendizaje y adaptabilidad, las organizaciones pueden maximizar el valor de la IA y garantizar el éxito de su integración en sus operaciones.

El AI Act en acción: aplicación a través de un caso práctico

En esta sección, se ejemplifican los requisitos para desarrollar un modelo de IA procedentes del AI Act, mediante la construcción de un sistema automático de IA.

El sistema de IA considerado es un extractor de datos de CV. Su uso principal es extraer información concreta de los CV: nombre, información personal, educación, experiencia laboral, nivel de inglés, etc. Esta información extraída automáticamente podría utilizarse, por ejemplo, para filtrar los candidatos a un puesto de trabajo en función de los requisitos específicos necesarios para dicho puesto.

El funcionamiento del sistema es sencillo: a través de una página web, el equipo de selección de talentopuede cargar varios CV de distintos candidatos y pulsar un botón que ejecuta la recopilación de datos. A continuación, un modelo de IA lee el contenido de cada CV y extrae de ellos la información deseada. Una vez recopilados estos datos, la aplicación genera automáticamente un archivo csv con la información extraída anotada en columnas. 

1. Clasificación del sistema

Para abordar el impacto que el AI Act tiene sobre este recopilador de datos de la CV, primero hay que evaluar el papel que desempeña la empresa en el uso del sistema de IA. Dado que la empresa no ha construido ella misma el modelo, sino que utiliza uno creado por otro agente, la empresa es un "implantador" del sistema de IA. Por lo tanto, está sujeta al cumplimiento de las obligaciones específicas que los implantadores tienen en el AI Act, excluyendo las que están reservadas únicamente a los proveedores. No obstante, el sistema de IA utilizado es un modelo grande de lenguaje existente y puesto en el mercado. Puesto que dicho modelo no está diseñado específicamente para el tratamiento de CV, se puede considerar que se está modificando la finalidad prevista del sistema. El artículo 25 establece que "cualquier distribuidor, importador, implantador u otro tercero se considerará proveedor de un sistema de IA de alto riesgo a efectos del presente Reglamento y estará sujeto a las obligaciones del proveedor previstas en el artículo 16, en cualquiera de las siguientes circunstancias: modifican la finalidad prevista de un sistema de IA, incluido un sistema de IA de propósito general [...]". Por lo tanto, dado que este sistema de IA modifica la finalidad prevista del modelo de propósito general, la organización también deberá cumplir las obligaciones para los proveedores.

Un factor determinante para dictaminar qué requisitos debe satisfacer un sistema de IA es su nivel de riesgo: ¿Está prohibido este sistema de IA? ¿Es de alto riesgo? ¿O puede interpretarse simplemente como un sistema de IA de propósito general?

Aunque puede tener un impacto considerable en decisiones importantes como las solicitudes de empleo, este sistema de IA no perjudica ni discrimina a las personas. Su principal objetivo es automatizar el proceso de selección de personal extrayendo información concisa de los CV. Por lo tanto, no se encuentra entre las prácticas de IA prohibidas y la empresa puede llevar a cabo esta aplicación a reserva de adaptarla a la nueva normativa.

Sin embargo, esta aplicación puede tener una influencia directa en el empleo. El apartado 2 del artículo 6 afirma que todos los sistemas mencionados en el anexo III se consideran sistemas de IA de alto riesgo. Este es el cuarto apartado del anexo III, que describe qué IA se considera de alto riesgo:

"4. Empleo, gestión de trabajadores y acceso al autoempleo:
(a) Sistemas de IA destinados a ser utilizados para la contratación o selección de personas físicas, en particular para publicar anuncios de empleo específicos, analizar y filtrar solicitudes de empleo y evaluar candidatos".
Esto describe a la perfección el ámbito de la aplicación construida por la empresa. Por lo tanto, esta aplicación debe considerarse un sistema de IA de alto riesgo.  

2. Cumplimiento de la Ley de AI

A continuación, se analizan algunos de los requisitos del AI Act que afectan a este caso de uso específico.

• Privacidad de datos: la aplicación está construida para extraer cierta información sensible, como la edad o los correos electrónicos, lo que implica la obligación de garantizar la privacidad de los datos. Por lo tanto, la implementación del sistema debe abordar este aspecto desde un punto de vista formal y tecnológico, y la funcionalidad debe estar diseñada para garantizar un uso adecuado (por ejemplo, restringiendo el tipo de información que se puede extraer, evitando la opción de descargar la información o realizar capturas de pantalla, seguridad en el almacenamiento de la información, restringiendo los derechos de acceso, incluyendo el sistema en el proceso de gestión de información privada, evitando el uso del sistema para procesar documentos que no sean CV, etc.). Además, deben tenerse en cuenta otras normativas europeas relativas a la privacidad de los datos, como el Reglamento General de Protección de Datos (RGPD). 
• Transparencia: el requisito de transparencia implica que debe quedar claro y declararse al candidato que los datos se tratan mediante un sistema de IA, y al usuario que el resultado ha sido generado por un sistema de IA.
• Supervisión humana: en lo que respecta al requisito de supervisión humana, es necesario supervisar la salida generada por el sistema de IA antes de tomar una decisión relevante basada en ella. Una posible solución para abordar este tema podría ser la siguiente:
  1. La primera interacción del usuario con el sistema sería una interfaz en la que el usuario puede cargar el CV y ejecutar el modelo de IA que extrae la información deseada del CV. 
  2. Una vez finalizado el análisis, la interfaz debe mostrar una vista tanto del CV utilizado como de una tabla con campos editables que contenga los datos extraídos. De esta forma, el usuario puede comprobar directamente en la misma pantalla si la información extraída del modelo coincide con la procedente del CV original y corregir posibles errores sobre el mismo campo. 
  3. También podría añadirse un botón de confirmación de la corrección y revisión realizada por el usuario.

Tras la revisión de todos los requisitos y la adaptación del sistema, la aplicación debería cumplir la nueva normativa establecida en el AI Act. No obstante, se debe seguir realizando un seguimiento periódico del estado del sistema. La empresa debe permanecer en contacto con el proveedor del sistema de IA para comprobar si hay actualizaciones o cambios en el modelo y supervisar el rendimiento general del sistema de IA que están utilizando, comprobando si hay posibles sesgos o errores repetidos de rendimiento. 
Si la empresa detecta algún fallo en el funcionamiento del modelo, en particular si puede dar lugar a algún tipo de discriminación (por ejemplo, basada en el origen, la raza o la condición social), debe documentarse bien, notificarse al proveedor y suspenderse inmediatamente el uso del sistema hasta que se cambie el modelo de IA o se solucionen los problemas.

4. Conclusiones

El AI Act representa un paso importante de la Unión Europea en la regulación del desarrollo y el uso de las tecnologías de inteligencia artificial. Define claramente los componentes y agentes clave de los sistemas de IA y los clasifica en función de su riesgo potencial. Además, establece requisitos para los modelos de propósito general. La normativa se adapta al nivel de riesgo, con especial atención a los aspectos éticos y de seguridad de los sistemas de alto riesgo.
Además, el AI Act proporciona un marco claro para los desarrolladores, ofreciendo orientación práctica sobre cómo navegar por las complejidades del cumplimiento. Aunque su principal objetivo es mitigar los riesgos asociados a la IA, la normativa también fomenta la innovación responsable, alentando el desarrollo de sistemas de IA que puedan mejorar la vida de los ciudadanos y contribuir al progreso de la sociedad.

En esta publicación se han cubierto los principales aspectos normativos del AI Act, resumiendo los requisitos que deben cumplir los sistemas de IA basados en la UE en función de su nivel de riesgo. Además, se ha explicado un posible plan de adopción de IA, que cualquier organización podría seguir para incorporar casos de uso de IA en su modelo de negocio, garantizando el cumplimiento del nuevo marco normativo establecido en el AI Act. Además, se ha presentado un ejemplo concreto para ilustrar cómo se puede adaptar una herramienta de IA para cumplir con el AI Act, explicando sus conflictos con el reglamento y cómo se podrían resolver.

En conclusión, la necesidad de regulación en el desarrollo de la IA nunca ha sido tan crítica. A medida que evolucionan las tecnologías de IA, es esencial garantizar que se utilicen de forma responsable y ética para proteger los derechos fundamentales de las personas. El AI Act es un gran paso hacia este objetivo.

La newsletter ya está disponible para su descarga en la web de la Cátedra tanto en es​p​añ​ol como en inglés.