Problema con recursividad

Al jugar, me permite sortear todos los números pero, al final no entra en la condición de "todos los números han sido sorteados". Y se queda pidiendo un número que no está en la lista. ¿Qué error tengo?

// Variables necesarias 
let numeroSecreto = 0, intentos = 0, numeroMaximo = 5;
let numerosAleatorios = [];

//Inicializando el Juego
inicializarJuego();

//Función para asignar texto por ID
function asignarTexto(id, texto)
{
    let elemento = document.getElementById(id);
    elemento.innerHTML = texto;
}

//Función para generar el número pseudoaleatorio
function generarNumeroSecreto()
{
     let numeroGenerado = Math.floor ((Math.random() * numeroMaximo) + 1);

     if (numerosAleatorios.length == numeroMaximo) 
     {  
        asignarTexto('parrafo', 'Fin Del Juego');
     }
     else
     {
        if(numerosAleatorios.includes(numeroGenerado))
        {
           return generarNumeroSecreto();  
        }
        else
        {  
           numerosAleatorios.push(numeroGenerado);
           return numeroGenerado;
        }
     }    
}

//Función para limpiar elemento por ID
function limpiarElemento(id)
{
    document.getElementById(id).value = '';
}

//Función que pone las condiciones iniciales
function inicializarJuego()
{
    numeroSecreto = generarNumeroSecreto();
    intentos = 1;

    asignarTexto('parrafo', `Elige Un Número Entre 1 y ${numeroMaximo}`);
    asignarTexto('h1', 'Adivina El Número Secreto');

    document.getElementById('reiniciar').setAttribute('disabled', true);
    limpiarElemento('numeroUsuario');
}

//Función para comparar el número del usuario con el número secreto
function verificarIntento()
{
    let numeroUsuario = document.getElementById('numeroUsuario').value;

    if(numeroSecreto == numeroUsuario)
    {
        asignarTexto('parrafo', `Ganaste! Te tomó ${intentos} ${ intentos <= 1 ? 'intento' : 'intentos'}`);
        document.getElementById('reiniciar').removeAttribute('disabled');
    }
    else
    {
        if(numeroUsuario > numeroSecreto)
        {
            asignarTexto('parrafo', 'El Número Es Menor');
        }
        else
        {
            asignarTexto('parrafo', 'El Número Es Mayor')
        }
        limpiarElemento('numeroUsuario');
        intentos++;
    }
}