Para que la conversión de cadena a numero surta efecto, la función parseInt debe formatear el dato introducido por teclado por lo tanto debe ser la última instrucción que se ejecute en esa línea para posteriormente el dato formateado guardarse en la variable.
Es así y por cierto, los parentesis se resuelven de adentro hacia afuera, es decir la primera función que esta después del igual es la última en ejecutarse. En este ejemplo primero se ejecuta prompt y luego paseInt.
Concretamente, lo formateado y guardado se refleja en:
var total = invitados + vips;