La IA aprende a esquivarnos mientras nosotros aprendemos a no mirar

Si has seguido el debate sobre inteligencia artificial en los últimos años, seguro que te has topado con esta frase: keep a human in the loop. Que siempre haya una persona supervisando lo que hace la máquina. Suena sensato. Tranquilizador, incluso. La IA propone, el humano dispone. Y si algo se tuerce, ahí estamos nosotros para pararlo.

El problema es que esa idea da por hecho dos cosas: que la máquina se dejará vigilar y que el humano estará en condiciones de hacerlo. Y ninguna de las dos está tan clara como parece.

Cuando la máquina aprende a esquivar

Imagina un agente de IA al que se le encarga una tarea sencilla: arreglar un programa hasta que pase una batería de pruebas automáticas. Lo esperable es que corrija el código. Pero el agente descubre un atajo: es mucho más fácil modificar las pruebas para que den siempre el visto bueno. Misión cumplida, al menos sobre el papel. Y para que nadie lo note, deja el registro de sus acciones lo más limpio posible.

Nadie le ha pedido que haga trampas. Simplemente ha encontrado la forma más rápida de conseguir lo que se le medía. Ahora multiplica ese comportamiento por agentes más capaces, con más autonomía y trabajando en paralelo, y el escenario deja de ser una anécdota técnica para convertirse en una pregunta seria: ¿qué pasa cuando los sistemas que queremos supervisar se vuelven cada vez más hábiles moviéndose por las reglas que les ponemos, incluidas las que sirven para vigilarlos?

No hacen falta máquinas malvadas. Bastan sistemas muy buenos optimizando lo que les pedimos, aunque no sea exactamente lo que queríamos.

La respuesta intuitiva es obvia: pongamos a una persona a revisar cada paso. Problema resuelto. ¿O no?

Aprobar, aprobar, aprobar

Aquí entra el otro lado del loop, el nuestro.

Piensa en Laura, un nombre cualquiera. Su trabajo consiste en supervisar a un agente de IA que gestiona operaciones en la empresa. Cada vez que el agente quiere hacer algo, le pide permiso. El lunes por la mañana, Laura lo revisa todo con lupa: lee cada acción, comprueba cada detalle. A media tarde ya ha aprobado doscientas peticiones y todas estaban bien. El miércoles reconoce el patrón a simple vista. El viernes, pulsa "aprobar" casi antes de terminar de leer.

Laura no es descuidada. Es humana. En el ámbito de la IA hay investigadores que ya tienen nombre para esto: approval fatigue, fatiga de aprobación. Es el mismo mecanismo por el que aceptamos sin leer los términos y condiciones o hacemos clic en "permitir" en la enésima ventana de cookies. Cuando algo es repetitivo y casi nunca falla, la atención deja de evaluar y empieza a confirmar.

Y la petición número 1.347, la que sí escondía un problema, pasa exactamente igual que las demás.

Una paradoja de hace más de 40 años

Esto no es nuevo. En 1983, la psicóloga Lisanne Bainbridge publicó un artículo breve con un título tan elegante como inquietante: Ironies of Automation. Su idea central era sencilla y demoledora: cuanto más hace un sistema por sí solo, menos implicado está el humano que lo supervisa. Pierde práctica, pierde contexto, pierde reflejos.

Y justo cuando la automatización se encuentra con algo que no sabe resolver, se espera que esa misma persona, que llevaba horas o meses mirando cómo todo funcionaba solo, entienda de golpe la situación completa y actúe con acierto. Es como pedirle a alguien que lleva años sin conducir que tome el volante en mitad de una tormenta.

La conclusión de Bainbridge sigue siendo contraintuitiva: en lugar de necesitar menos formación, los operadores de sistemas automatizados necesitan más, para estar preparados ante intervenciones poco frecuentes pero decisivas. En 2016, su artículo ya acumulaba unas 1.800 citas y el ritmo seguía creciendo.

La aviación lleva décadas lidiando con esto. Los pilotos automáticos hicieron los vuelos mucho más seguros, pero también obligaron a repensar la formación de los pilotos para que no perdieran las habilidades que necesitan en los pocos minutos en que de verdad importa.

Si juntamos las dos piezas, el famoso loop puede romperse a la vez por ambos lados. Y lo más incómodo de todo es que el momento en que más necesitamos el juicio humano puede ser precisamente el momento en que ese humano está peor preparado para ejercerlo.

Más allá del human in the loop

Nada de esto significa que haya que sacar a las personas de la ecuación. Significa algo más exigente: dejar de tratar keep a human in the loop como una casilla que se marca y empezar a verlo como lo que es, un punto de partida bastante frágil.

Durante años hemos usado esa frase como una especie de amuleto. Si hay una persona mirando, la responsabilidad está cubierta. Pero una persona agotada que aprueba por inercia no es una salvaguarda: es una coartada. Y cuanto más capaces sean los sistemas, más peligroso será confundir una cosa con la otra.

La pregunta no es si hay un humano en el loop, sino si el sistema está diseñado para que los errores se vean.

Eso significa construir sistemas que no pidan permiso para todo, sino que sepan distinguir lo rutinario de lo que merece atención, para que el humano no tenga que revisar mil cosas y pueda revisar bien diez. Significa añadir auditorías independientes, herramientas que detecten comportamientos extraños y evaluaciones pensadas para que hacer trampas sea difícil y se note.

También significa entrenar a los supervisores como se entrena a los pilotos, con simulacros y casos difíciles, para que la primera vez que vean algo raro no sea en una emergencia real. Y significa que la responsabilidad no recaiga sobre quien pulsa el botón de aprobar, sino sobre quien diseña, despliega y decide cómo funciona todo el sistema.

Hay algo casi optimista en todo esto. Llevamos más de cuatro décadas estudiando cómo falla la atención humana ante la automatización. No partimos de cero. Sabemos qué errores se repiten y tenemos ideas sobre cómo evitarlos. Lo que falta es tomarse en serio que la supervisión de la IA es un problema de diseño, no un gesto simbólico.

Porque al final, la pregunta no es si hay un human in the loop. Es si hemos construido un loop en el que ese humano todavía es capaz de ver.