Duda con la estructura del Código

¡Hola a todos! tengo el siguiente problema: cuando ejecuto el juego todo bien. salvo que al usuario ingresar un número mayor que el numero secreto, el juego no cambia el texto a "el numero secreto es menor". en cambio, muestra permanentemente "el numero secreto es mayor". adjunto el código y agradezco las consideraciones sobre el problema. saludos!

let numeroSecreto = generarNumeroSecreto();

  function asignarTextoElemento(elemento, texto){
      let elementoHTML = document.querySelector(elemento);
      elementoHTML.innerHTML = texto;
  }
  //declaración de la función
  function verificarIntento(){
      let numeroDelUsuario = parseInt(document.getElementById("valorUsuario")).value;
      console.log(numeroSecreto);
    if (numeroDelUsuario == numeroSecreto){
     asignarTextoElemento('p','Correcto, acertaste');
    } else {
        if (numeroDelUsuario > numeroSecreto){
          asignarTextoElemento('p','El numero secreto es menor');
        } else {
          asignarTextoElemento('p','El numero secreto es mayor');
        }
    }
  return;
  }
  function generarNumeroSecreto(){
      return Math.floor(Math.random()*10)+ 1;

  }
  asignarTextoElemento('h1','Juego del Numero Secreto!');
  asignarTextoElemento('p','Indica un Numero del 1 al 100');