Los grandes modelos de lenguaje de OpenAI GPT procesan texto utilizando tokens , que son secuencias comunes de caracteres que se encuentran en un conjunto de texto. Los modelos aprenden a comprender las relaciones estadísticas entre estos tokens y se destacan en producir token en una secuencia de tokens.
el número de tokens de entrada está limitado para garantizar el buen rendimiento del modelo y controlar los costos computacionales
