No se suman los intentos que son mayores al numero secreto

Hola compañeros espero me puedan apoyar, les comento que mi codigo se ejecuta de manera adecuada sin embargo unicamente suma los intentos que son menores al numero secreto, si ingreso un numero mayor el bucle se repite pero no se suma al numero de intentos

// variables
let numeroSecreto= 5;
let numeroUsuario=0;
let intentos = 1;
let palabravez = `intento`;
while(numeroUsuario != numeroSecreto){
      numeroUsuario = prompt ("me indicas un numero entre el 1 y el 10 por favor:");

     /*este codigo realiza
     la comparación */

     console.log (numeroUsuario);

     if (numeroUsuario==numeroSecreto){
          alert(`acertaste el numero secreto es: ${numeroUsuario} .Lo lograste en ${intentos} ${palabravez}.`)
          //se acerto a condicion

     } else {
          if (numeroUsuario > numeroSecreto ) { 
               alert ("El numero secreto es menor");
          } else {
               if (numeroUsuario < numeroSecreto) {
                    alert ("El numero secreto es mayor");
               }
               intentos = intentos + 1;
               palabravez = `intentos`;
               // no se acerto la condicion y se repite el proceso
          }
          }
}