07 Sep Auditoría de inteligencia artificial: qué debe revisar una empresa antes de poner un sistema de IA en producción
La incorporación de inteligencia artificial a los procesos empresariales avanza con rapidez. Herramientas capaces de clasificar información, generar contenidos, automatizar decisiones o analizar grandes volúmenes de datos pueden aportar importantes ventajas, pero también introducen nuevos riesgos técnicos, jurídicos y organizativos.
Por eso, antes de poner un sistema de IA en producción no basta con comprobar que “funciona”. Una auditoría previa debería analizar si el sistema es seguro, trazable, adecuado para su finalidad y si existen controles suficientes para detectar errores o usos indebidos.
1. Definir exactamente para qué se utilizará la IA
El primer paso consiste en determinar la finalidad del sistema.
No presenta el mismo riesgo una herramienta utilizada para resumir documentos internos que un sistema que interviene en la selección de personal, concede acceso a servicios o participa en decisiones que afectan directamente a personas.
La empresa debería documentar qué problema pretende resolver, qué usuarios tendrán acceso, qué decisiones puede influir y cuáles serán sus límites.
Esta clasificación es especialmente relevante desde la perspectiva del Reglamento Europeo de Inteligencia Artificial, que establece obligaciones diferentes en función del nivel de riesgo del sistema.
2. Revisar los datos utilizados
La calidad del resultado depende, en gran medida, de los datos.
Una auditoría debería comprobar su procedencia, calidad, actualización y adecuación a la finalidad prevista. También conviene analizar si contienen errores, sesgos o información que no debería ser utilizada.
Cuando existen datos personales, además, habrá que determinar qué base jurídica permite su tratamiento y si se cumplen los principios establecidos por la normativa de protección de datos.
En determinados sistemas considerados de alto riesgo, el AI Act exige expresamente medidas relacionadas con la gobernanza y calidad de los datos.
3. Saber qué puede hacer el sistema y qué no
Uno de los riesgos más habituales aparece cuando las capacidades reales de una herramienta de IA no coinciden con las expectativas de la empresa.
Los modelos pueden producir respuestas incorrectas, inconsistentes o aparentemente convincentes sin que su contenido sea fiable.
Antes del despliegue deberían realizarse pruebas específicas sobre:
- precisión de los resultados;
- tasas de error;
- comportamiento ante casos excepcionales;
- posibles sesgos;
- resistencia frente a entradas manipuladas;
- estabilidad ante diferentes escenarios;
- consecuencias de una respuesta incorrecta.
No basta con probar ejemplos favorables. Una buena auditoría debe intentar encontrar los límites del sistema.
4. Garantizar la trazabilidad
Cuando una IA participa en procesos empresariales relevantes, poder reconstruir lo ocurrido puede convertirse en una necesidad crítica.
La empresa debería conocer qué entradas recibió el sistema, qué versión del modelo estaba activa, qué resultado generó y qué persona intervino posteriormente.
El AI Act contempla específicamente capacidades de registro o logging para determinados sistemas de alto riesgo con el objetivo de facilitar su trazabilidad y supervisión.
La ausencia de registros puede dificultar tanto una investigación interna como la defensa de la empresa ante una reclamación.
5. Establecer supervisión humana real
Añadir una persona al proceso no garantiza automáticamente un control humano efectivo.
El supervisor debe comprender qué hace la herramienta, conocer sus limitaciones y disponer de capacidad real para cuestionar o anular una recomendación.
En los sistemas de alto riesgo, el Reglamento europeo contempla expresamente mecanismos de supervisión humana destinados a reducir riesgos para la seguridad y los derechos fundamentales.
Por tanto, debería quedar claro quién revisa las decisiones y quién asume la responsabilidad final.
6. Analizar la ciberseguridad
Los sistemas de IA también amplían la superficie de ataque.
Una auditoría debería revisar controles de acceso, credenciales, APIs, comunicaciones, almacenamiento, integraciones y permisos. También deberían analizarse amenazas específicas, como la manipulación de entradas, la extracción de información sensible o el uso indebido de modelos conectados a sistemas internos.
Especial atención merece la IA generativa cuando tiene acceso a documentación corporativa, repositorios, correos electrónicos o bases de datos.
7. Evaluar al proveedor
Muchas empresas no desarrollan sus propios modelos, sino que contratan servicios de terceros.
Esto no elimina el riesgo.
Conviene revisar dónde se procesan los datos, durante cuánto tiempo se conservan, si pueden utilizarse para entrenar modelos, qué subcontratistas intervienen, qué medidas de seguridad existen y cómo se gestionan los incidentes.
También debería estudiarse qué ocurre cuando cambia una versión del modelo o cuando el proveedor modifica unilateralmente el servicio.
8. Conservar documentación y evidencias
La documentación cobra cada vez más importancia en la regulación de la IA.
Para determinados sistemas de alto riesgo, el AI Act establece obligaciones específicas relacionadas con documentación técnica, sistemas de gestión, conservación de registros y evidencias de conformidad.
Incluso cuando estas obligaciones concretas no sean aplicables, documentar las decisiones adoptadas aporta una ventaja importante.
La empresa debería poder demostrar qué evaluó antes del despliegue, qué riesgos identificó, qué pruebas realizó y qué controles decidió implantar.
Auditar antes de implantar, no después del incidente
La auditoría de inteligencia artificial no debería comenzar cuando aparece un problema.
Debe formar parte del proceso de diseño y contratación.
Un sistema técnicamente avanzado puede seguir siendo inadecuado si utiliza datos incorrectos, carece de controles, no permite reconstruir sus decisiones o se utiliza para una finalidad distinta de aquella para la que fue evaluado.
La pregunta antes de poner una IA en producción no debería ser únicamente “¿funciona?”, sino también “¿podemos demostrar que funciona de forma segura, controlada y conforme a las reglas que nos afectan?”.
Contáctaos en luis@luisvilanova.es