Sony Patenty Tłumacz języka migowego w grze

Patent Sony: wbudowany w grę tłumacz języka migowego umożliwia graczom niesłyszącym i niemym granie w gry!

Firma Sony zgłosiła patent, którego celem jest zapewnienie lepszych wrażeń z gry osobom niesłyszącym i niemym. Patent demonstruje technologię, która może w czasie rzeczywistym przetłumaczyć jeden język migowy na inny język migowy w grze.

Wykorzystywanie sprzętu VR i gier w chmurze do tłumaczenia w czasie rzeczywistym

Patent firmy Sony zatytułowany „Tłumaczenie języka migowego w środowiskach wirtualnych” opisuje technologię umożliwiającą tłumaczenie amerykańskiego języka migowego (ASL) na japoński język migowy (JSL) w czasie rzeczywistym, tak aby był zrozumiały dla osób mówiących po japońsku.

Sony zamierza zbudować system, który pomoże niesłyszącym graczom, tłumacząc w czasie rzeczywistym dialogi na język migowy w grach. Opisana w patencie technologia umożliwiłaby komunikację w języku migowym w czasie rzeczywistym za pośrednictwem wirtualnego wskaźnika lub awatara wyświetlanego na ekranie. System najpierw tłumaczy gesty w jednym języku na tekst, następnie konwertuje tekst na inny określony język, a na koniec tłumaczy otrzymane dane na gesty w innym języku.

„Przykłady wykonania niniejszego ujawnienia dotyczą sposobów i systemów przechwytywania języka migowego jednego użytkownika (np. Japończyka) i tłumaczenia języka migowego innemu użytkownikowi (np. osobie mówiącej po angielsku)” – opisuje Sony w patent. „Ponieważ języki migowe różnią się w zależności od pochodzenia regionalnego, języki migowe nie są uniwersalne. Wymaga to odpowiedniego uchwycenia języka migowego jednego użytkownika, zrozumienia jego języka ojczystego i wygenerowania nowego języka migowego dla innego użytkownika w postaci wyjściowej w jego ojczystym języku migowym. „

Sony podało przykład, że system można wdrożyć za pomocą sprzętu VR lub wyświetlaczy montowanych na głowie (HMD). „W niektórych przypadkach HMD łączy się z urządzeniem użytkownika, takim jak komputer osobisty, konsola do gier lub inne urządzenie komputerowe, za pośrednictwem połączenia przewodowego lub bezprzewodowego” – podaje Sony. „W niektórych przykładach urządzenie użytkownika renderuje grafikę wyświetlaną przez HMD, zapewniając użytkownikowi wciągające wrażenia wizualne w środowisku wirtualnym.”

Firma Sony zaproponowała ponadto, aby jedno urządzenie użytkownika mogło bezproblemowo komunikować się z innym urządzeniem użytkownika na serwerze gry za pośrednictwem sieci. „W niektórych przykładach serwer gry wykonuje wspólną sesję gry wideo, utrzymuje stan kanoniczny gry wideo i jej środowiska wirtualnego” – stwierdziło Sony, „a stan urządzenia użytkownika w odniesieniu do środowiska wirtualnego jest zsynchronizowany”.

Dzięki tej konfiguracji użytkownicy mogą udostępniać treści i wchodzić w interakcje ze sobą w tym samym środowisku wirtualnym (tj. w grze) we współdzielonej sieci lub serwerze. Sony powiedziało również, że w niektórych wdrożeniach systemu serwer gier może być częścią systemu gier w chmurze, który mógłby „renderować i przesyłać strumieniowo wideo” pomiędzy każdym urządzeniem użytkownika.