Los modelos comprenden y procesan el texto dividiéndolo en tokens. Un token puede ser una palabra individual, un carácter o incluso una parte de una palabra. Por ejemplo, la frase "Hello World!" tendría los siguientes tokens:
Respecto a la información proporcionada que puse inicialmente por Alura , estoy demasiada impactada por la forma de hacernos comprender la palabra o carácter que se divide en tantas secciones que lo clasifican como token , me encanta la idea por que cada palabra ocupa un espacio de memoria , en mi caso personal me agrada tener esta forma de aprender de forma comprendiendo lo que vas a iniciar a desarrollar un objetivo en descripciones de muchas instrucciones. Me quede en maravilla ver por ChatGPT como tienen la herramienta para visualizar la cantidad de tokens dependiendo a la palabra insertada.
