Solucionado
Aún no hago la prueba ni he encontrado si alguien lo preguntó antes, por lo que mi duda es la siguiente:
Si publico algo en Github Pages, pero más adelante corrijo parte del código y le hago push. ¿Se actualiza en automático en Pages, o tengo que quitar la página y volver a publicarla?
Sí, se actualiza aunque no de forma instantánea, tienes que esperar un momento a que aplique los cambios, pero sí se actualiza.
Te recomiendo revisarlo localmente si funciona como corresponde antes de hacerle un push, para que cuando se actualice tu repositorio tu página web o deployment actualice código funcional.
¡Muchas gracias!