[Duda] ¿Error en pop-up o error en código?

Al ejecutar el archivo HTML y poner los números siempre me sale la ventana que "El número secreto es mayor."

Dejo mi código para que lo revisen y me puedan ayudar, ya que lo he comparado con el video del curso y parece que esta igual...

//Variables
let numeroSecreto = 4;
let numeroUsuario = 0;
while(numeroUsuario != numeroSecreto) {
    prompt("Me indicas un número entre 1 y 10 por favor:");

    console.log(numeroUsuario);
    if(numeroUsuario == numeroSecreto) {
        //Acertamos en la condición
        alert(`Acertaste, el número es: ${numeroUsuario}.`);
    } else {
        if(numeroUsuario > numeroSecreto){
            alert('El número secreto es menor.');
        } else {
            alert('El número secreto es mayor.');
        }
        // La condición no se cumplió
        //alert('Lo siento, no acertaste el número.');
    }
}