Interesante como rompe todo el texto en trozos llamados tokens para procesar la información. Esta técnica es para relacionar cada tokens con su base de datos que tiene de información y así, una vez entrenado el algoritmo, predice los resultados que devuelve.