Tras tokenizar el texto, aparecen listas enormes de números decimales muy complejos (como [-0.00149, 0.02619, ...]). ¿Qué significan?
Eso es un Embedding (o incrustación vectorial). Mientras que la tokenización solo se encarga de "partir" el texto en pedazos y darles un ID numérico básico, el modelo de embeddings (como el text-embedding-3-small de OpenAI) hace la magia real: traduce el significado conceptual a matemáticas.
Para entenderlo de forma sencilla, imaginen un mapa en 2D. Si quieren ubicar una ciudad, necesitan dos coordenadas: Latitud y Longitud.
• Si dos ciudades tienen coordenadas muy parecidas (como Medellín y Envigado), sabemos que están geográficamente cerca.
La IA hace exactamente lo mismo, pero en lugar de un mapa plano de 2 dimensiones, utiliza un "mapa conceptual" de ¡miles de dimensiones invisibles!
Cada uno de esos números decimales tan largos es una coordenada de alta precisión en ese espacio matemático. Una coordenada puede medir qué tan "empresarial" es la palabra, otra mide qué tan "abstracta" es, otra si se refiere a un ser vivo, etc.
Gracias a estos números complejos, la IA sabe instantáneamente que la palabra "Negocios" está geométricamente muy cerca de "Empresa" o "Finanzas", pero a kilómetros de distancia de la palabra "Elefante". ¡Así es como calculan el contexto y las relaciones del lenguaje!
