Ya estoy inscrito ¿Todavía no tienes acceso? Nuestros Planes
Ya estoy inscrito ¿Todavía no tienes acceso? Nuestros Planes
1
respuesta

El agente logró cruzar el lago con éxito en 784 de 1000 episodios.

A continuación se relaciona el codigo generado con asesoria de Luri inicialmente se corrio el codigo con los valores recomendados por Luri
alpha = 0.8
gamma = 0.95
epsilon = 1.0
epsilon_decay = 0.999
epsilon_min = 0.01
num_episodes = 20000

y posteriormente se corrio el codigo con los nuevos valores se desglosan a continuación dichos nuevos valores:
alpha = 0.9 # Agente aprende más rápido de cada experiencia
gamma = 0.95 # Mantener el factor de descuento
epsilon = 1.0 # Mantener la exploración inicial alta
epsilon_decay = 0.995 # La exploración disminuye un poco más lento, dando más tiempo para explorar
epsilon_min = 0.05 # Asegurar que siempre haya un poco más de exploración mínima
num_episodes = 30000 # Darle más episodios para aprender
Ingrese aquí la descripción de esta imagen para ayudar con la accesibilidad
Ingrese aquí la descripción de esta imagen para ayudar con la accesibilidad
Ingrese aquí la descripción de esta imagen para ayudar con la accesibilidad
Ingrese aquí la descripción de esta imagen para ayudar con la accesibilidad
el resultado para los valores recomendados por Luri fue: El agente logró cruzar el lago con éxito en 110 de 1000 episodios.
el resultado para los valores aleatoreos elegidos fue: El agente logró cruzar el lago con éxito en 784 de 1000 episodios.

1 respuesta

¡Hola Fabián, espero que estés bien!

Parece que has hecho un gran trabajo ajustando los hiperparámetros de tu agente para mejorar su rendimiento en el entorno FrozenLake. Al comparar los resultados, los nuevos valores de los parámetros han mejorado significativamente el éxito del agente de 110 a 784 episodios exitosos de 1000.

Aquí hay algunos puntos clave que podrían haber contribuido a esta mejora:

  1. Alpha más alto (0.9): Esto permite que el agente aprenda más rápidamente de cada experiencia, lo que puede ayudar a mejorar el rendimiento general.

  2. Epsilon más alto y decay más lento (0.995): Mantener una alta tasa de exploración al inicio y reducirla más lentamente permite al agente explorar más antes de comenzar a explotar su conocimiento, lo que puede llevar a descubrir mejores estrategias.

  3. Más episodios (30000): Proporcionar más episodios de entrenamiento le da al agente más oportunidades para aprender y mejorar su política.

Estos ajustes parecen haber permitido que el agente explore mejor el entorno y aprenda una estrategia más efectiva para cruzar el lago. Si deseas seguir mejorando, podrías experimentar con otros valores de alpha, gamma, y epsilon, o incluso probar diferentes estrategias de exploración.

Espero que esto te ayude a entender por qué los cambios que realizaste tuvieron un impacto positivo. ¡Sigue experimentando y aprendiendo!

Espero haber ayudado y buenos estudios!