28 Sep Data & AI Governance: cómo saber si una solución está realmente preparada para utilizarse
La gobernanza de datos y de inteligencia artificial está dejando de ser una cuestión limitada al cumplimiento normativo o a la existencia de políticas internas. En organizaciones que utilizan cada vez más datos, modelos de IA, proveedores tecnológicos, soluciones generativas o arquitecturas complejas, el verdadero reto consiste en saber cuándo una solución está preparada para utilizarse y cuándo todavía existen riesgos que deben resolverse.
La pregunta, por tanto, no debería ser únicamente si una empresa dispone de controles de gobierno. Lo importante es determinar si esos controles permiten tomar decisiones suficientemente fundamentadas.
Gobernar significa decidir
Una organización puede enfrentarse a situaciones muy diferentes. Puede querer poner una nueva plataforma en producción, incorporar un proveedor de inteligencia artificial, utilizar una nueva fuente de datos, modificar un modelo existente o compartir determinada información con un tercero.
En todos esos casos, comenzar analizando únicamente la tecnología puede conducir a conclusiones equivocadas. Antes hay que definir qué se quiere conseguir, quién debe autorizarlo, qué consecuencias tendría una decisión incorrecta y qué nivel de riesgo puede asumir la organización.
Una misma tecnología puede resultar perfectamente aceptable para una finalidad y ser inadecuada para otra. Por eso el gobierno debe partir siempre del contexto empresarial y no únicamente de las características técnicas de la solución.
Saber exactamente qué estamos evaluando
Uno de los errores más habituales consiste en hablar de “un sistema de IA” o de “un proyecto de datos” como si se tratara de elementos aislados.
En la práctica, una solución puede depender de bases de datos, aplicaciones, APIs, proveedores externos, modelos, usuarios, sistemas corporativos y diferentes componentes tecnológicos.
Antes de autorizar su utilización hay que poder identificar con precisión qué se está evaluando, cuál es su finalidad, quién responde de ello, qué usuarios tendrán acceso y cuáles son sus principales dependencias.
Si la organización ni siquiera puede describir correctamente el activo que pretende gobernar, difícilmente podrá determinar sus riesgos.
La calidad del dato depende de su finalidad
Disponer de información no significa que esa información pueda utilizarse para cualquier propósito.
Los datos deben analizarse teniendo en cuenta su origen, actualidad, consistencia, integridad, significado y trazabilidad. Sin embargo, incluso estos conceptos deben relacionarse con el uso concreto.
Un conjunto de datos puede ser suficiente para realizar análisis estadísticos históricos y resultar inadecuado para automatizar una decisión en tiempo real. La cuestión relevante no es, por tanto, si el dato tiene buena calidad en abstracto, sino si tiene la calidad necesaria para la finalidad concreta y para las consecuencias que puede producir un error.
Trazabilidad: entender cómo se obtiene un resultado
En entornos tecnológicos cada vez más complejos resulta imprescindible poder reconstruir el recorrido de la información.
No basta con conocer dónde se almacena un dato. Una organización debería poder seguir su evolución desde la fuente original, pasando por los procesos de transformación y consumo, hasta llegar al resultado final.
Esta necesidad aumenta cuando intervienen sistemas de inteligencia artificial. En soluciones basadas en RAG, por ejemplo, también puede resultar necesario analizar qué documentos se utilizaron, cómo fueron procesados, qué información fue recuperada y qué contexto terminó llegando al modelo.
La trazabilidad permite investigar errores, conocer el impacto de los cambios y disponer de evidencias cuando es necesario explicar cómo se obtuvo un determinado resultado.
La IA obliga a mirar más allá del modelo
Evaluar únicamente el modelo es insuficiente.
Una solución de inteligencia artificial está formada también por los datos que utiliza, la aplicación que la integra, la configuración empleada, los permisos, los proveedores, los usuarios y los mecanismos de supervisión.
En sistemas generativos o agentes de IA cobra especial importancia saber qué herramientas pueden utilizar, qué acciones pueden ejecutar y hasta dónde llega su autonomía.
El gobierno debe abarcar todo ese ecosistema y establecer quién controla cada elemento, cómo se detectan comportamientos anómalos y qué ocurre cuando cambia alguno de sus componentes.
Gobernar también significa monitorizar
Superar una evaluación inicial tampoco garantiza que una solución continúe siendo adecuada indefinidamente.
Los datos cambian, los modelos evolucionan, aparecen nuevas vulnerabilidades, los proveedores modifican sus servicios y las normas jurídicas también pueden variar.
Por ello, una organización necesita determinar qué indicadores va a controlar, con qué frecuencia los revisará, qué umbrales obligarán a intervenir y dónde quedará registrada la evidencia.
Los principales marcos de gobierno y gestión del riesgo de IA contemplan precisamente esta idea de evaluación y mejora continua. El documento de referencia relaciona este enfoque con las funciones Govern, Map, Measure y Manage de NIST y con el sistema de gestión planteado por ISO/IEC 42001.
El cambio debe formar parte del gobierno
Una solución que hoy resulta aceptable puede dejar de serlo después de una modificación aparentemente menor.
Un cambio de modelo, de proveedor, de arquitectura, de finalidad o de conjunto de datos puede alterar el comportamiento del sistema, sus costes, los riesgos asociados o incluso sus obligaciones regulatorias.
Por ello, el gobierno debería definir previamente qué cambios pueden registrarse sin más, cuáles requieren una nueva revisión y cuáles obligan a detener temporalmente la solución hasta realizar una reevaluación.
Cuando intervienen terceros, el riesgo se amplía
La gestión se vuelve todavía más compleja cuando los datos o los sistemas atraviesan las fronteras de la organización.
En estos casos es necesario conocer quién proporciona la información, quién la recibe, con qué finalidad puede utilizarse, qué derechos existen sobre ella y cómo se gestionarán los posibles incidentes.
La gobernanza deja entonces de ser únicamente interna y pasa a abarcar relaciones entre proveedores, clientes, plataformas y otros participantes.
La decisión final no siempre tiene que ser continuar
Una buena gobernanza no debería tener como objetivo justificar siempre la continuidad de una solución.
Después de analizar datos, tecnología, seguridad, riesgos, cumplimiento, rendimiento y dependencias, la organización puede decidir avanzar, hacerlo con determinadas condiciones, revisar aspectos pendientes, rediseñar la arquitectura o incluso sustituir el sistema.
También puede llegar a la conclusión de que una tecnología que fue adecuada hace años ya no lo es.
Ese es uno de los aspectos más importantes del Data & AI Governance actual. Gobernar no consiste simplemente en mantener bajo control aquello que ya existe. Consiste en conservar la capacidad de decidir, con evidencias suficientes, cuándo una solución debe continuar, cuándo necesita cambios y cuándo ha llegado el momento de retirarla.
En un entorno en el que los modelos, los proveedores, las arquitecturas y la regulación evolucionan constantemente, esa capacidad de decisión puede ser uno de los principales activos de una organización.
Contáctanos en luis@luisvilanova.es