- Mapeo de sectores y documentos relevantes de la organización
Para que un modelo generativo o un sistema RAG (Generación Aumentada por Recuperación) ofrezca respuestas precisas, debe nutrirse de la base de conocimiento estructurada de la empresa:
Sector de Logística y Operaciones: Políticas de envío y devoluciones, manuales de ruteo de última milla, contratos con operadores logísticos y reportes de inventario.
Sector de Facturación y Finanzas: Guías tributarias, políticas de crédito y cobranza, manuales de emisión de notas de crédito y plantillas de facturación electrónica.
Sector de Atención al Cliente (Soporte): Guiones de respuesta (scripts), base de conocimiento de preguntas frecuentes (FAQ) y manuales de garantía de productos.
- Simulación de consultas y fuente ideal
- Consulta 1 (Logística): "Un cliente compró una televisión hace 15 días y quiere devolverla porque no le gusta el color. ¿Procede la devolución y quién paga el flete?"
Fuente ideal: Política de devoluciones y garantías (Sector de Logística). El sistema debe extraer la regla de los "días hábiles permitidos para arrepentimiento de compra".
- Consulta 2 (Facturación): "¿Cuál es el procedimiento para anular una factura emitida el mes pasado si el cliente cambió su razón social?"
Fuente ideal: Manual de emisión de notas de crédito y normativas fiscales (Sector de Facturación).
- División en tokens y similitud semántica
Tomemos una frase de la base de conocimiento: "El reembolso será procesado en la tarjeta de crédito."
Tokenización hipotética: ["El", "reembolso", "será", "procesado", "en", "la", "tarjeta", "de", "crédito", "."]
Similitud semántica (Embeddings): En el espacio vectorial del modelo, el token "reembolso" tiene una alta proximidad geométrica con tokens como "devolución", "dinero" o "pago". A su vez, el grupo "tarjeta de crédito" formará un clúster semántico fuerte. Si un usuario pregunta por "devolver la plata a mi Visa", el modelo de lenguaje utiliza el cálculo estadístico y la similitud de estos vectores para entender que se refiere exactamente a la regla del "reembolso".
- Experimento: Ajuste de temperatura en la generación de textoContexto: Un sistema automatizado debe responder a un cliente que se queja por un retraso en su envío.
Configuración A (Temperatura 0.1 / Top-p 0.2 - Baja creatividad, alta coherencia):
Respuesta: "Estimado cliente, le pedimos disculpas por el retraso. Su pedido se encuentra en tránsito y será entregado en las próximas 24 horas hábiles. Agradecemos su comprensión."
Configuración B (Temperatura 0.9 / Top-p 0.9 - Alta creatividad, mayor dispersión):
Respuesta: "¡Hola! Lamentamos que tu paquete haya decidido tomar la ruta panorámica. A veces nuestros transportistas se enfrentan a tráfico intenso. ¡Pero no te preocupes! Para compensar esta pequeña aventura, te daremos un 50% de descuento en tu próxima compra y envío prioritario gratuito en menos de 2 horas."
- Comparación y posibles alucinaciones
Variaciones: La configuración A utiliza los tokens de mayor probabilidad matemática (Top-k restringido), resultando en un texto sobrio, corporativo y predecible. La configuración B, al ampliar la distribución de probabilidad (Top-p amplio), selecciona tokens menos comunes para generar un texto más "humano" y conversacional.
Alucinaciones detectadas: En la Configuración B, el modelo alucina al inventar una política de compensación inexistente ("50% de descuento" y "envío gratuito en 2 horas"). Esta es una consecuencia directa de forzar la creatividad en un escenario que exige apego estricto a los hechos.
- Validación y documentación de inconsistencias
Resultado de la validación: Los modelos de IA generativa no tienen un concepto intrínseco de "verdad", sino de "probabilidad del siguiente token". Cuando la temperatura es alta, el modelo prioriza la fluidez narrativa sobre la exactitud de los datos.
Inconsistencias documentadas: Se determinó que para áreas críticas como facturación o quejas de logística, el componente probabilístico debe limitarse fuertemente (baja temperatura). Dejar libertad creativa genera riesgos operativos (como prometer descuentos no autorizados). La creatividad del modelo solo debe liberarse en áreas como la redacción de campañas de marketing o lluvia de ideas.
