Sony Traducteur de langue des signes dans le jeu

Brevet Sony : un traducteur en langue des signes en jeu permet aux joueurs sourds et muets de jouer à des jeux !

Sony a déposé un brevet visant à offrir une meilleure expérience de jeu aux joueurs sourds et muets. Le brevet démontre une technologie capable de traduire en temps réel une langue des signes vers une autre langue des signes dans le jeu.

Utiliser des équipements VR et des jeux cloud pour réaliser une traduction en temps réel

Le brevet de Sony, intitulé « Traduction de la langue des signes dans des environnements virtuels », décrit une technologie capable de traduire la langue des signes américaine (ASL) en langue des signes japonaise (JSL) en temps réel pour une compréhension par les locuteurs japonais.

Sony vise à créer un système qui aide les joueurs sourds en traduisant en temps réel les dialogues en langue des signes du jeu. La technologie décrite dans le brevet permettrait une communication en langue des signes en temps réel via un indicateur virtuel ou un avatar affiché à l'écran. Le système traduit d'abord les gestes dans une langue en texte, puis convertit le texte dans une autre langue spécifiée et enfin traduit les données reçues en gestes dans une autre langue.

"Les modes de réalisation de la présente invention concernent des procédés et des systèmes permettant de capturer la langue des signes d'un utilisateur (par exemple, un Japonais) et de traduire la langue des signes à un autre utilisateur (par exemple, un anglophone)", décrit Sony dans le brevet. "Étant donné que les langues des signes varient selon l'origine régionale, les langues des signes ne sont pas universelles. Cela nécessite de capturer de manière appropriée la langue des signes d'un utilisateur, de comprendre sa langue maternelle et de générer une nouvelle langue des signes pour un autre utilisateur sous forme de sortie dans sa langue des signes native. "

Sony a donné un exemple selon lequel le système peut être mis en œuvre via un équipement VR ou des visiocasques (HMD). "Dans certains modes de réalisation, le HMD se connecte à un appareil utilisateur, tel qu'un ordinateur personnel, une console de jeu ou un autre appareil informatique, via une connexion filaire ou sans fil", détaille Sony. "Dans certains modes de réalisation, l'appareil utilisateur restitue les graphiques affichés via le HMD, offrant à l'utilisateur une expérience visuelle immersive de l'environnement virtuel

Sony a en outre proposé qu'un appareil utilisateur puisse communiquer de manière transparente avec un autre appareil utilisateur sur le serveur de jeu via le réseau. "Dans certains modes de réalisation, le serveur de jeu effectue une session partagée du jeu vidéo, maintient l'état canonique du jeu vidéo et de son environnement virtuel", a déclaré Sony, "et l'état de la machine utilisateur par rapport à l'environnement virtuel est synchronisé."

Avec cette configuration, les utilisateurs peuvent partager et interagir les uns avec les autres dans le même environnement virtuel (c'est-à-dire un jeu) sur un réseau ou un serveur partagé. Sony a également déclaré que dans certaines implémentations du système, le serveur de jeu pourrait faire partie d'un système de jeu en nuage qui pourrait « restituer et diffuser de la vidéo » entre chaque appareil utilisateur.