Sony Patenten In-game gebarentaalvertaler

Patent van Sony: In-game gebarentaalvertaler zorgt ervoor dat dove en stomme spelers games kunnen spelen!

Sony heeft een patent ingediend om dove en stomme gamers een betere game-ervaring te bieden. Het patent demonstreert technologie die de ene gebarentaal in realtime in een andere in-game gebarentaal kan vertalen.

VR-apparatuur en cloudgames gebruiken om realtime vertaling te realiseren

Het patent van Sony, getiteld 'Translation of Sign Language in Virtual Environments', beschrijft een technologie die Amerikaanse gebarentaal (ASL) in realtime kan vertalen naar Japanse gebarentaal (JSL), zodat deze door Japanssprekenden kan worden begrepen.

Sony wil een systeem bouwen dat dove spelers helpt door in-game gebarentaaldialogen in realtime te vertalen. De technologie die in het patent wordt beschreven, zou realtime communicatie in gebarentaal mogelijk maken via een virtuele indicator of avatar die op het scherm wordt weergegeven. Het systeem vertaalt gebaren in de ene taal eerst naar tekst, converteert de tekst vervolgens naar een andere opgegeven taal en vertaalt ten slotte de ontvangen gegevens naar gebaren in een andere taal.

"Belichamingen van de huidige openbaarmaking hebben betrekking op methoden en systemen voor het vastleggen van de gebarentaal van één gebruiker (bijvoorbeeld een Japanner) en het vertalen van de gebarentaal naar een andere gebruiker (bijvoorbeeld een Engelstalige)", beschrijft Sony in de octrooi. “Omdat gebarentalen variëren per regionale herkomst, zijn gebarentalen niet universeel. Dit vereist het op de juiste manier vastleggen van de gebarentaal van de ene gebruiker, het begrijpen van hun moedertaal en het genereren van een nieuwe gebarentaal voor een andere gebruiker als uitvoer in hun moedertaal. "

Sony gaf een voorbeeld dat het systeem kan worden geïmplementeerd via VR-apparatuur of head-mounted displays (HMD). "In sommige uitvoeringsvormen maakt de HMD verbinding met een gebruikersapparaat, zoals een personal computer, gameconsole of ander computerapparaat, via een bekabelde of draadloze verbinding", legt Sony uit. "In sommige uitvoeringsvormen geeft het gebruikersapparaat afbeeldingen weer die worden weergegeven via de HMD, waardoor de gebruiker een meeslepende kijkervaring van de virtuele omgeving krijgt

Sony stelde verder voor dat het ene gebruikersapparaat via het netwerk naadloos kan communiceren met een ander gebruikersapparaat op de gameserver. "In sommige uitvoeringsvormen voert de gameserver een gedeelde sessie van de videogame uit, handhaaft de canonieke status van de videogame en zijn virtuele omgeving", zei Sony, "en wordt de status van het gebruikersapparaat met betrekking tot de virtuele omgeving gesynchroniseerd."

Met deze opstelling kunnen gebruikers met elkaar delen en met elkaar communiceren in dezelfde virtuele omgeving (d.w.z. game) op een gedeeld netwerk of server. Sony zei ook dat in sommige implementaties van het systeem de spelserver deel zou kunnen uitmaken van een cloud-spelsysteem dat video zou kunnen weergeven en streamen tussen elk gebruikersapparaat.