Problemas con alert

Mi código creo que es tal cual está en la clase; sin embargo, al ejecutarlo en el navegador siempre tengo un alert indicándome que el número es mayor, aunque el dato ingresado sea exactamente el mismo que el número secreto.

Les comparto mi código si alguien pudiera guiarme en el proceso, gracias de ante mano. Edit: Me gustaría aclarar que antes del While si funcionaba todo en orden

//Variables
let numeroSecreto = 4;
let numeroDeUsuario = 0;
while (numeroDeUsuario != numeroSecreto) {
    numeroDeUsuario = prompt("Me indicas un numero entre 1 y 10 por favor:");

    console.log(numeroDeUsuario);
    /*
    Este codigo realiza una validacion entre el numero de
    usuario y numero secreo 
    */
    if (numeroDeUsuario == numeroSecreto) {
        //La condicion se cumple
        alert(`Acertaste, el numero es ${numeroDeUsuario}`);
    } else {
        if (numeroDeUsuario > numeroSecreto) {
            alert('El numero secreto es menor');
        } else {
            alert('El numero secreto es mayor');
        }
        //La condicion no se cumple
        //alert('Lo siento no acertaste el numero');
    }
}