Confianza en la IA: el 97,2% de los usuarios corrige sus recomendaciones al menos algunas veces

La inteligencia artificial puede entregar una recomendación en segundos. Pero eso no significa que las personas estén dispuestas a aceptarla sin revisar.

Un nuevo estudio de IDC patrocinado por SAS encontró que el 97,2% de los usuarios corrige o anula recomendaciones generadas por inteligencia artificial al menos en algunos casos.

El problema no es solamente si la respuesta es correcta.

Muchas veces el usuario necesita entender por qué el sistema llegó a esa conclusión antes de confiar en ella.

Casi todos revisan o corrigen las recomendaciones de IA

El hallazgo forma parte del segundo informe anual Data and AI Impact Report: The New Economics of Trust.

Según el comunicado de SAS e IDC, el 97,2% de los usuarios reconoce que anula o corrige recomendaciones de IA en al menos algunos casos.

La falta de explicabilidad aparece como una de las principales razones.

Cuando un sistema entrega una conclusión que la persona no puede comprender o verificar, aumenta la necesidad de revisión manual.

Y ahí aparece una paradoja bastante evidente: una herramienta diseñada para ahorrar tiempo puede terminar demandando más trabajo si cada respuesta necesita ser revisada antes de utilizarse.

Explicar una respuesta importa tanto como generarla

El informe identifica cuatro elementos como centrales para una adopción efectiva de inteligencia artificial:

• explicabilidad;
• calidad de los datos;
• gobernanza;
• auditabilidad.

La idea es relativamente sencilla.

Mientras más importante sea una decisión, menos útil resulta una respuesta que solo diga “esto es lo correcto” sin permitir entender cómo llegó hasta ahí.

Eso se vuelve especialmente relevante cuando la IA empieza a intervenir en procesos empresariales donde una recomendación puede afectar dinero, operaciones, clientes o decisiones críticas.

La confianza cae cuando la IA empieza a actuar sola

El desafío aumenta con la llamada IA agéntica: sistemas capaces de ejecutar tareas y tomar acciones con mayor autonomía.

De acuerdo con el estudio, la confianza de los usuarios llega a 76% en inteligencia artificial generativa, pero baja a 66% en IA agéntica.

La diferencia tiene sentido.

No es lo mismo leer una respuesta y decidir qué hacer con ella que permitir que un sistema actúe directamente sobre datos, aplicaciones o procesos.

A mayor autonomía, mayor es también la necesidad de saber qué hizo el agente, por qué lo hizo y cómo detener o corregir una acción equivocada.

Los errores importan más cuando la IA puede ejecutar acciones

El informe también advierte que los agentes de IA más avanzados pueden presentar tasas de error superiores al 25% en tareas complejas.

Eso no significa que todos los agentes fallen una de cada cuatro veces en cualquier tarea.

La cifra corresponde a escenarios complejos citados por el estudio y sirve principalmente para mostrar por qué la supervisión humana sigue siendo necesaria cuando la consecuencia de un error es relevante.

Un chatbot que entrega una respuesta incorrecta puede generar una mala decisión.

Un agente con acceso a sistemas corporativos puede además ejecutar esa decisión.

La confianza también aparece vinculada al retorno de inversión

La investigación no trata la confianza solamente como un problema reputacional o ético.

También la relaciona con resultados de negocio.

Según SAS e IDC, 62% de las organizaciones con prácticas sólidas de IA confiable reporta un retorno de inversión alto o sólido.

Entre las organizaciones rezagadas en estas prácticas, la cifra baja a apenas 4%.

Expresado de otra manera, las empresas con prácticas robustas de IA confiable tienen 15 veces más probabilidades de reportar un ROI elevado, de acuerdo con el estudio.

Solo 17,5% dice tener sus datos preparados para la IA agéntica

Existe otro cuello de botella antes de llegar a los modelos.

La infraestructura de datos.

El informe señala que solo 17,5% de las empresas cuenta con una base de datos completamente optimizada y madura para las exigencias de la IA agéntica.

Las organizaciones que sí tienen datos optimizados, según el estudio, presentan cuatro veces más probabilidades de esperar un ROI elevado y seis veces más probabilidades de exigir controles de calidad de datos y explicabilidad.

Es un recordatorio de que adoptar IA no consiste únicamente en contratar acceso al modelo más potente disponible.

Si los datos son incompletos, inconsistentes o difíciles de auditar, una capa de inteligencia artificial encima de ellos no elimina el problema.

La supervisión humana sigue siendo parte del sistema

El CTO de SAS, Bryan Harris, plantea que las organizaciones necesitan incorporar conocimiento del negocio dentro de los flujos de trabajo de agentes y mantener a las personas en el centro de la gobernanza y supervisión.

El mensaje no es detener la automatización.

Es diseñarla asumiendo que el sistema puede equivocarse.

Eso implica establecer mecanismos para revisar decisiones, rastrear el origen de los datos, explicar resultados y permitir que una persona intervenga cuando sea necesario.

El problema de la IA ya no es solamente qué puede hacer

Durante los últimos años, buena parte de la conversación sobre inteligencia artificial estuvo centrada en capacidad.

Qué modelo escribe mejor, cuál razona mejor o cuál puede automatizar más tareas.

Pero mientras los sistemas ganan autonomía, la pregunta empieza a cambiar.

Una IA puede ser técnicamente capaz de tomar una decisión y aun así resultar poco útil si nadie confía lo suficiente como para dejarla actuar.

El dato del 97,2% no significa que las personas rechacen la inteligencia artificial.

Significa algo más interesante: usar IA no es lo mismo que delegarle la decisión.

Y mientras los agentes comiencen a ejecutar acciones por su cuenta, explicar qué hacen puede terminar siendo tan importante como hacerlas rápido.

Fuente: comunicado de SAS e IDC enviado a OH! Zom, basado en el informe Data and AI Impact Report: The New Economics of Trust.