ChatGPT tiene una limitación de procesar un máximo de 4,096 tokens por solicitud, incluyendo la entrada y la salida. Para manejar textos largos, es importante dividirlos en partes más pequeñas que no excedan el límite de tokens. Se utilizó una herramienta llamada "Tokenizer" para analizar la cantidad de tokens en el texto de Wikipedia sobre computación cuántica. Se dividió el texto en dos partes, cada una con menos de 4,096 tokens, y se solicitó a ChatGPT que resuma cada parte en 100 palabras. Luego, se consolidaron los dos resúmenes y se pidió a ChatGPT que los resuma en 50 palabras con puntos clave en formato de viñetas. El objetivo es entender cómo funciona la limitación de tokens en ChatGPT y aplicar estrategias efectivas para procesar textos largos.
