A hand hovering over a lit toggle switch on a control panel — the human approval point

Humano en el bucle: donde colocar el punto de aprobacion de un agente de IA

El punto de aprobacion de un agente de IA no lo fija la puntuacion de confianza del modelo. Lo fijan solo dos variables: cuan reversible es la accion y cuanto dano causa si esta equivocada. Una accion irreversible con dano real (un correo a un cliente, un reembolso, el borrado de un registro) exige aprobacion antes de ejecutarse. Una accion reversible a bajo coste no necesita aprobacion, solo muestreo. El fallo habitual no son las pocas aprobaciones sino lo contrario: demasiadas, que en semanas se convierten en un sello de goma y pierden todo el valor para el que se construyeron.

Tres errores que se repiten en casi toda implementacion

Primero: aprobacion para todo. Una organizacion nerviosa con el agente pone a una persona delante de cada accion. El resultado es que el agente no ahorra tiempo y anade un paso, mientras el aprobador, que ve decenas de solicitudes casi identicas al dia, deja de leer. La aprobacion sigue en el diagrama de flujo pero ya no filtra nada.

Segundo: aprobacion guiada por la puntuacion de confianza del modelo. Una puntuacion de confianza mide cuan plausible le parece la salida al modelo, no cuan correcta es ni cuanto cuesta si resulta estar mal. Un agente puede estar extremadamente seguro de una direccion de correo que se invento. Una variable no correlacionada con el dano no puede ser el disparador de una decision sobre el dano.

Tercero: aprobacion sin autoridad. Un aprobador que no tiene autoridad para rechazar, o para quien rechazar genera trabajo extra, aprobara. Un punto de aprobacion sin autoridad organizativa real detras es documentacion, no control.

La ecuacion que decide donde va el punto de aprobacion

Dos variables, cuatro celdas. Esa es toda la teoria, y el resto de las decisiones se derivan de ella.

Reversibilidad de la accion Poco dano si esta mal Mucho dano si esta mal
Reversible al instante (borrador, etiqueta interna, resumen) Sin aprobacion, muestreo semanal Muestreo diario + registro completo
Reversible con un coste (actualizacion de registro, cambio de estado) Aprobacion a posteriori con ventana de deshacer Aprobacion antes de ejecutar
Irreversible (correo a cliente, reembolso, borrado) Aprobacion antes de ejecutar Aprobacion antes de ejecutar + segundo aprobador

Fijate en lo que falta en la tabla: el nivel de confianza del modelo. Se puede usar para decidir con cuanto detalle inspeccionar dentro de una celda, pero nunca para mover una accion de una celda a otra.

Cuatro patrones de aprobacion y la diferencia operativa entre ellos

Patron Como funciona Cuando encaja
Aprobacion bloqueante El agente se detiene y espera a una persona antes de ejecutar Acciones irreversibles que implican a un tercero o dinero
Ventana de deshacer La accion se ejecuta tras un breve retardo durante el cual se puede cancelar Acciones reversibles a bajo coste y de alto volumen
Muestreo Todo se ejecuta; un porcentaje fijo se revisa despues Acciones internas de gran volumen
Escalado por excepcion El agente actua solo y se detiene unicamente bajo condiciones predefinidas Procesos maduros con historial de medicion

La ventana de deshacer es el patron mas infrautilizado y normalmente el mas correcto. Conserva toda la velocidad en el camino normal y traslada el coste del control solo a los casos en los que alguien detecto de verdad un problema. Para acciones que se pueden cancelar en minutos, ofrece casi toda la proteccion de una aprobacion bloqueante sin ninguno de sus costes.

El problema real: la aprobacion que se volvio un sello de goma

El sesgo que destruye los puntos de aprobacion se conoce en la literatura de investigacion como sesgo de automatizacion: la tendencia a aceptar la salida de un sistema sin verificarla, y a veces a abandonar un juicio humano correcto en favor de una recomendacion incorrecta. Un estudio en patologia computacional encontro que presentar una recomendacion incorrecta elevaba la tasa de errores por comision alrededor de un 66% en tareas de baja complejidad, comparado con un grupo que no recibia ninguna recomendacion.

La carga empeora el sesgo. En seguridad de la informacion, donde los mecanismos de alerta y aprobacion existen desde hace decadas, los informes del sector de 2026 describen unas 3.000 alertas diarias en la organizacion media, de las cuales alrededor del 63% no se atienden nunca y cerca del 46% resultan ser falsos positivos. Ese es exactamente el camino que crea un agente de IA con demasiados puntos de aprobacion, solo que mas rapido.

La conclusion de diseno va contra la intuicion: para que la aprobacion funcione hacen falta menos aprobaciones, no mas. Cada aprobacion que anades abarata el valor de todas las demas.

Que tiene que aparecer en la pantalla de aprobacion

A un aprobador al que se le entrega una pregunta de si o no sin contexto dira que si. Una pantalla de aprobacion que funciona muestra cinco cosas, en este orden.

La accion exacta. No una descripcion general sino el valor final: la direccion, el importe, el campo y el nuevo valor junto al antiguo.

La fuente. En que registro, documento o conversacion se baso, con un enlace directo.

Que se considero y se descarto. La alternativa que el agente sopeso y no eligio. Este es el detalle que convierte una aprobacion automatica en una comprobacion real.

El coste de equivocarse. Si la accion es reversible, y en tal caso en cuanto tiempo y a que coste.

Rechazo en un clic con motivo. El motivo se guarda y alimenta el conjunto de pruebas; de lo contrario el mismo error volvera.

El quinto punto es la diferencia entre control y papeleo. Un rechazo que nunca vuelve al sistema es trabajo repetido una y otra vez sobre el mismo error.

El boton de parada no es un adorno, es un requisito

El Reglamento de IA de la UE define la supervision humana en su articulo 14 como un requisito estructural para los sistemas de alto riesgo. El texto exige que una persona pueda decidir no usar el sistema, ignorar, anular o revertir su salida, e interrumpirlo mediante un mecanismo de parada que lo lleve a un estado seguro.

De ahi se derivan tres implicaciones practicas, tambien para organizaciones fuera del alcance de alto riesgo. Primera, el mecanismo de parada tiene que estar implementado y no solo documentado. Segunda, alguien tiene que saber activarlo sin consultar a nadie. Tercera, activarlo tiene que ser organizativamente aceptable: una parada que provoca una investigacion interna no se usara a tiempo.

Una prueba sencilla: pidele a una persona cualquiera del equipo que detenga el agente ahora mismo. Si no sabe como, o si pregunta a quien hay que avisar primero, no tienes un boton de parada.

Como saber si el punto de aprobacion esta en el lugar correcto

Un punto de aprobacion es una decision de diseno que hay que medir, no suponer. Bastan tres metricas.

Metrica Que dice Rango saludable
Tasa de correccion Con que frecuencia una persona cambio lo que el agente propuso Ni cero ni la mayoria de los casos
Tiempo medio de decision Cuanto tiempo invirtio realmente el aprobador El suficiente para leer la accion y la fuente
Tasa de escalado Con que frecuencia el agente se detuvo por iniciativa propia Estable en el tiempo

Una tasa de correccion que se acerca a cero significa una de dos cosas: o el agente esta listo para que se le retire la aprobacion, o la aprobacion ya no se lee. La unica forma de distinguirlas es una muestra ciega: toma cincuenta acciones aprobadas y revisalas desde cero. Si la revision encuentra errores que fueron aprobados, el problema no es el agente.

Un camino de despliegue recomendado

Las dos primeras semanas: el agente solo propone y una persona ejecuta. Asi recoges una tasa de correccion real. Cuando la tasa de correccion baja de un umbral predefinido: se pasa a ejecucion con ventana de deshacer, solo en acciones reversibles. Las acciones irreversibles se quedan bajo aprobacion bloqueante hasta que haya al menos un mes de historial de medicion. Y cualquier cambio del prompt, de las herramientas o de la version del modelo devuelve al agente una etapa atras hasta que se haya vuelto a ejecutar el conjunto de pruebas.

Preguntas frecuentes

Donde deberia estar el punto de aprobacion humana en un agente de IA?

Lo determinan dos variables: cuan reversible es la accion y cuanto dano causa si esta mal. Las acciones irreversibles con dano real exigen aprobacion antes de ejecutarse; las reversibles a bajo coste quedan bien cubiertas con una ventana de deshacer o muestreo posterior. La puntuacion de confianza del modelo no es una variable valida para fijar el punto de aprobacion.

Por que aprobarlo todo hace dano en realidad?

Porque genera una carga que lleva a aprobar de forma automatica. Un aprobador que ve decenas de solicitudes casi identicas al dia deja de leerlas, y cada aprobacion anadida abarata el valor de las demas. Menos puntos de aprobacion, centrados en acciones irreversibles, filtran mas.

Cual es la diferencia entre una aprobacion bloqueante y una ventana de deshacer?

Una aprobacion bloqueante detiene al agente hasta que una persona decide, lo que encaja con acciones irreversibles. Una ventana de deshacer ejecuta la accion tras un breve retardo en el que se puede cancelar, conservando toda la velocidad y encajando con acciones reversibles de alto volumen.

Como se sabe que el punto de aprobacion esta en el lugar correcto?

Por la tasa de correccion. Si casi nadie corrige nada, la aprobacion se ha vuelto un sello de goma o es innecesaria. Si se corrige una parte grande de las acciones, el agente aun no esta listo para la autonomia que se le dio. El tiempo medio de decision es otra senal: una decision que toma unos segundos no es una comprobacion.

Existe una exigencia legal de supervision humana?

Bajo el Reglamento de IA de la UE, el articulo 14 exige que los sistemas de alto riesgo permitan una supervision humana efectiva, incluida la capacidad de ignorar o revertir la salida y de detener el sistema en un estado seguro. Incluso fuera de ese alcance, es una referencia de diseno razonable para cualquier agente que opere sobre clientes o dinero.

אולי תאהבו גם

Integral

Déjanos tus datos y te responderemos en breve

Transformación

Déjanos tus datos y te responderemos en breve

Únete a nosotros

Déjanos tus datos y te responderemos en breve

Enfocado

Déjanos tus datos y te responderemos en breve