Interesante como rompe todo el texto en trozos llamados tokens para procesar la información. Esta técnica es para relacionar cada tokens con su base de datos que tiene de información y así, una vez entrenado el algoritmo, predice los resultados que devuelve.
me impresiona es como estadísticamente junta todos lo tokens en forma de patrones para lograr una efectividad en tiempo respuesta, también como en base a un signo de interrogación por innecesario que parezca puede ser un alivio para la IA al proporcionar la respuesta