Ya estoy inscrito ¿Todavía no tienes acceso? Nuestros Planes
Ya estoy inscrito ¿Todavía no tienes acceso? Nuestros Planes
1
respuesta

[Sugerencia] Sobre contador de token

En mi caso utilice 'Google GenAI osea Gemini'
Cree un package 'configuration' una clase LoggingChatModelDecorator que implementa de ChatModel y otra clase mas de nombre 'AIConfig'
que esta configuracion es global asi que cada vez que se utiliza, se muestra por consola el consumo:
Imagen consola

1 respuesta

Hola Christian, espero que estés bien

Gracias por compartir tu enfoque. Parece que has implementado una solución interesante para el conteo de tokens utilizando Google GenAI (Gemini) y mostrando el consumo en la consola. Aunque el curso está más enfocado en OpenAI, tu solución es un buen ejemplo de cómo se puede adaptar la lógica para otras plataformas.

Si estás buscando sugerencias, podrías considerar lo siguiente:

  1. Separación de responsabilidades: Asegúrate de que la clase LoggingChatModelDecorator solo se encargue de la decoración y el registro, mientras que el conteo de tokens podría ser manejado por otra clase o servicio específico para mantener el código limpio y modular.

  2. Configuración reutilizable: Si AIConfig es una configuración global, verifica que esté optimizada para ser reutilizable en diferentes partes de tu aplicación sin necesidad de duplicación.

  3. Pruebas: Implementa pruebas unitarias para asegurar que el conteo de tokens y el registro funcionan correctamente bajo diferentes escenarios.

  4. Documentación: Asegúrate de documentar bien tu código para que otros desarrolladores puedan entender rápidamente cómo se integra esta funcionalidad en tu aplicación.

Espero que estas sugerencias te sean útiles. ¡Bons estudios!