Hola! ¿Cómo estás?
Muy buena pregunta. Coincidimos en que el human in the loop es fundamental, y se puede complementar con otros controles que, juntos, forman una gobernanza más sólida. Te compartimos algunos, organizados según los pilares vistos en la clase.
Antes de automatizar
Clasificar el riesgo. Definir si la decisión es de bajo o alto impacto. Aprobar créditos o seleccionar personas son casos de alto riesgo y requieren controles más estrictos que, por ejemplo, resumir correos.
Auditar los datos. Verificar el origen, la calidad y la representatividad de los datos que alimentan al modelo. Si los datos históricos ya tienen sesgos, la IA los va a repetir.
Hacer pruebas piloto. Comparar las decisiones de la IA con las de personas expertas durante un tiempo, revisando si hay diferencias injustificadas entre grupos (por género, edad, región, etc.).
Validar con Compliance y el área legal. Asegurar que el proceso cumpla con la ley de protección de datos del país y con los criterios éticos de la empresa.
Durante la operación
Transparencia y registro. Guardar un historial de qué datos usó la IA, qué decidió y por qué. Esto permite explicar una decisión y rastrear el origen de un error.
Umbrales de escalamiento. Definir que ciertos casos pasen obligatoriamente por revisión humana, por ejemplo, créditos por encima de un monto o solicitudes rechazadas.
Control de accesos y protección de datos. Limitar quién puede ver la información sensible y anonimizar los datos siempre que sea posible.
Guardrails. En la atención a clientes, establecer límites para que el asistente no responda de forma ofensiva o discriminatoria y derive a una persona cuando el tema lo requiera.
Después de la decisión
Monitoreo continuo. Revisar no solo el indicador principal, sino también los efectos de segunda orden que pueden quedar ocultos.
Canal de revisión para las personas afectadas. Quien recibe una decisión, como un crédito rechazado, debería poder pedir que una persona la revise.
Responsable definido y plan de contingencia. Cada proceso automatizado necesita una persona responsable y la posibilidad de pausarlo rápidamente si algo sale mal.
Como se resume en la clase, automatizar no es renunciar al control: la IA ejecuta, pero la responsabilidad sigue siendo humana.
Te invitamos a seguir la conversación: ¿cuál de estos controles te parece más difícil de implementar en tu contexto? Y si alguien de la comunidad tiene experiencia con estos procesos, ¡bienvenida su opinión!
¡Un saludo y buenos estudios!
