BMW présente l’interaction naturelle entre l’homme et la voiture

A l’occasion du salon Mobile World Congress 2019 de Barcelone, du 25 au 28 février, le constructeur automobile BMW présente pour la première fois l’interaction naturelle et multi-mode entre le véhicule et le conducteur.

Combiner la voix, le regard et les gestes

Le système BMW Natural Interaction combine la commande vocale avec un contrôle gestuel et une reconnaissance du regard afin de permettre un fonctionnement multimodal. Les premières fonctions de BMW Natural Interaction seront disponibles dans la BMW iNEXT à partir de 2021.

BMW Natural Interaction permet au conducteur d’utiliser sa voix, ses gestes et son regard simultanément selon différentes combinaisons pour interagir avec son véhicule. Le mode de fonctionnement préféré peut être sélectionné intuitivement, en fonction de la situation et du contexte. Les commandes vocales, les gestes analysés de manière contextuelle et la direction du regard sont détectés par le véhicule, combinés et l’opération souhaitée exécutée. Avec la détection des mouvements de la main et des doigts, la direction des gestes – en plus du type de geste – est également enregistrée.

Les fonctions du véhicule peuvent alors être lancées de différentes manières. Le conducteur décide comment il souhaite interagir.  S’il est en train de parler, il choisira probablement le geste et le contrôle du regard. Si ses yeux sont rivés sur la route, il comptera sur la parole et les gestes. Ainsi, par exemple, les fenêtres de la voiture ou le toit ouvrant peuvent être ouverts ou fermés, les bouches d’aération ajustées ou une sélection effectuée sur l’écran de contrôle. Si le conducteur souhaite en savoir plus sur les fonctions du véhicule, il peut également pointer sur des boutons et demander leur usage.

La voiture prend en compte son environnement 

L’espace pris en compte ne se limite pas à l’intérieur du véhicule. Les occupants pourront interagir selon leur environnement direct, tels que des bâtiments ou des places de stationnement. Même les requêtes complexes pourront être traitées en pointant un doigt et en émettant une commande vocale : « c’est quoi ce bâtiment ? Combien de temps cette entreprise est-elle ouverte ? Comment s’appelle ce restaurant ? Est-ce que je peux me garer ici et combien ça coûte ? »

BMW Natural Interaction constitue une étape importante pour l’avenir des véhicules autonomes, lorsque les concepts d’aménagement intérieur ne seront plus uniquement axés sur la position du conducteur et que les occupants disposeront de plus de liberté. BMW propose le contrôle gestuel depuis 2015 via une caméra 3D. En 2018, le constructeur propose de la reconnaissance vocale et un contrôle gestuel amélioré. Le conducteur peut choisir entre les boutons au volant, l’écran tactile ou le contrôle vocal et gestuel.

Les capteurs ont été améliorés. À l’aide d’un signal lumineux infrarouge, la caméra gestuelle peut désormais capturer les mouvements de la main et du doigt en trois dimensions dans l’ensemble de l’environnement d’exploitation du conducteur et déterminer un vecteur directionnel précis. Par exemple, pointer un index sur l’écran de contrôle et énoncer une commande lance l’opération souhaitée sans toucher l’écran. La caméra haute définition intégrée au tableau de bord enregistre également la direction de la tête et des yeux.

Un usage de l’intelligence artificielle

La technologie de caméra intégrée évalue les images et les utilise pour calculer les données vectorielles requises, qui sont ensuite traitées dans le véhicule. Pour interpréter les instructions vocales, en plus des gestes, les informations transmises par le conducteur au véhicule sont combinées et évaluées à l’aide de l’intelligence artificielle. L’algorithme responsable de l’interprétation des données dans la voiture est affiné en permanence grâce à l’apprentissage automatique et à l’évaluation de différents scénarios de fonctionnement.

Le conducteur pourra également pointer du doigt des objets se trouvant dans son champ de vision et donner des commandes vocales, telles que demander des informations sur les heures d’ouverture d’un restaurant ou les évaluations des clients, ou réserver une table.  En connectant des services numériques, il sera possible d’élargir la portée de l’interaction à l’avenir. Par exemple, lorsque le conducteur trouve une place de parking, il saura s’il est autorisé à s’y garer et quel en est le coût.