Alguien podria explicarme el porque no me deja acumular los datos de las edades

le agregue campo de texto "input" y un botón "button" a este ejercicio de calcular el total de edad que tiene una familia pero no me deja acumular lo en una variable... alguien podria explicarme cual es mi error o que me hace falta

 <meta charset="utf-8">

 <h1>Calculando la media de edades de una familia</h1>

 <label for="numeroFamiliar">¿Cuántos integrantes de la familia va ingresar?</label>
 <br>
 <input name="numeroFamiliar" id="numeroFamiliar">
 <br>
 <button>Ingresar datos</button>

 <script>
     function imprimir(mensaje){
         document.write(mensaje)
     }

     var numeroFamiliar = document.getElementById("numeroFamiliar");
     numeroFamiliar.focus();

     var totalEdades = 0;

     function ingresarEdades() {

         contador = 1;
         while(contador <= numeroFamiliar.value){
             edad = parseInt(prompt("Ingrese la edad del familia"));
             totalEdades = totalEdades + edad;
             imprimir(totalEdades);
             contador++;
         }
    }

     var button = document.querySelector("button");
     button.onclick = ingresarEdades;

 </script>