Los modelos comprenden y procesan el texto dividiéndolo en tokens. Un token puede ser una palabra individual, un carácter o incluso una parte de una palabra. Por ejemplo, la frase "Hello World!" tendría los siguientes tokens:
Tenemos 3 tokens:
Hello, world; y un token para el signo de exclamación !
El modelo de ChatGPT asigna un valor de representación a cada token, capturando información contextual y semántica. Esta información semántica se refiere al significado e interpretación de las palabras, frases o sentencias en un contexto específico.
