Hola Leonardo,
Entiendo tu confusión, es una pregunta muy común cuando se está aprendiendo React.
La diferencia entre .js y .jsx es bastante sencilla: .jsx es una extensión que indica que el archivo contiene código JSX, que es una sintaxis de JavaScript que permite escribir elementos de HTML dentro de tu código JavaScript. React utiliza esta sintaxis para crear componentes.
Por otro lado, .js es la extensión estándar para archivos JavaScript.
En cuanto a cuándo usar uno u otro, depende de tu proyecto y de tus preferencias personales. Algunas personas prefieren usar .jsx para todos sus componentes React para indicar claramente que esos archivos contienen JSX. Otras personas prefieren usar .js para todo para mantener la consistencia con otros archivos JavaScript que no son de React.
En el curso que estás tomando, parece que el instructor está usando .js para los archivos que contienen componentes React. Esto es perfectamente válido y no debería causar ningún problema en tu código.
Espero que esto aclare tu confusión. Recuerda, no hay una respuesta correcta o incorrecta aquí, depende de lo que funcione mejor para ti y tu proyecto.
Espero haber ayudado y buenos estudios!