tienes un resumen breve y puntual de lo aprendido:
- Los modelos dividen el texto en tokens (palabras, caracteres, partes de palabras).
- La tokenización depende del idioma. Cada token tiene un valor que captura información semántica y contextual.
- Esto permite al modelo entender el significado y responder con precisión.
- Hay un límite de tokens de entrada por razones de rendimiento y costos.
