Pixel 11 překládá americký znakový jazyk do psané angličtiny přímo v klávesnici
Google DeepMind představil 12. srpna model SL2T, který převádí americký znakový jazyk rovnou do psané angličtiny. Na Pixelu 11 se dá znakovat všude tam, kde by se jinak psalo – v Gboardu i v aplikaci Live Transcribe. Z kamery přitom neodchází video, ale jen souřadnice bodů na rukou, obličeji a trupu. Sám Google k tomu píše, že funkce není náhrada tlumočníka a k lékaři ani k soudu s ní chodit nemá nikdo.
Diktování do telefonu má dnes každý. Kdo mluví rukama, ho neměl – a právě to Google 12. srpna 2026 změnil. Tým Google DeepMind toho dne oznámil model SL2T, který překládá znakový jazyk rovnou do psaného textu, a rovnou i to, kde běží: v klávesnici Gboard a v aplikaci Live Transcribe na Pixelu 11. Zatím jen z amerického znakového jazyka do angličtiny.
Návod, jak se k tomu uživatel dostane, přidala firma o devět dní později: přepínač se přidá do lišty Gboardu, znakuje se do přední kamery a text naskakuje na displeji. Znakovat jde jednou rukou i oběma.
Do sítě jde kostra, ne obraz
Telefon neposílá ven video. V zařízení běží MediaPipe Holistic, tedy model pro sledování pozice těla, který si z obrazu vytáhne body na rukou, v obličeji a na trupu; server pak dostane jen jejich souřadnice a původní záběr se rovnou zahazuje. Server, ne telefon – překlad počítá Google u sebe, takže tohle není funkce, která by fungovala v letadle. Mashable uvádí, že sledovaných bodů je 130, a doplňuje z doprovodné zprávy, že si Google záznamy o tom, co kdo naznakoval, nenechává, pokud se člověk sám nepřihlásí do hodnocení modelu.
Druhá zvláštnost je v tom, co model dělá se souřadnicemi. Dosavadní pokusy překládaly znaky nejdřív na takzvané glosy, tedy slovní nálepky jednotlivých znaků, a teprve z nich stavěly větu. SL2T ten mezikrok vynechává a překládá přímo z pohybu bodů. Google k tomu píše, že glosy neumějí zachytit mimiku a práci s prostorem, které v znakových jazycích nesou význam, a že přímý překlad navíc neomezuje slovník.
Sto tisíc hodin a padesát jazyků kvůli jednomu
Trénink probíhal na víc než 100 000 hodinách záznamů ve víc než padesáti znakových jazycích, přičemž americký v nich tvoří asi čtvrtinu. Podle Googlu se model učený na téhle směsi trefuje líp než model učený na jediném jazyce, protože se na rozdílných jazycích naučí to, co mají společné. Na měřítku FLEURS-ASL, které hodnotí překlad z amerického znakového jazyka do angličtiny, dosáhl SL2T 70 bodů BLEURT.
Zajímavější než skóre jsou drobnosti, na které se tým podle vlastních slov soustředil: aby model nezačal překládat, když před kamerou nikdo neznakuje, aby stejně dobře rozuměl levákům, kterých je mezi znakujícími zhruba desetina, a aby zvládl znakování jednou rukou, protože druhou ruku drží telefon.
Kde to selhává, popsal Google sám
Seznam mezí je nezvykle konkrétní. Model si neví rady s regionálními znaky, se slangem, se složitější gramatikou a s rychlou prstovou abecedou; v ukázkách z vlastního měření si spletl „prey“ za „grey“ a vypustil zmínku o drápech. Když se znakující zastaví nebo do záběru vstoupí další člověk, umí model vyrobit takzvaný ghost text, tedy slova, která nikdo neukázal. Přesnost klesá za šera, když ruce vyjedou ze záběru a když má člověk oblečení v barvě podobné kůži nebo pozadí. Na lidech mladších osmnácti let model formálně zkoušený nebyl a na znakujících s pohybovým postižením jen okrajově.
Z toho plyne věta, kterou Google napsal spolu s poradním sborem AISLAC složeným z organizací neslyšících: jde výhradně o pomocný způsob zadávání pro běžnou komunikaci s nízkou sázkou. Nesplňuje právní nároky na přiměřené úpravy pro neslyšící a nepatří k lékaři, k soudu, do školy, na pracovní pohovor ani na úřední jednání. Zpráva zároveň varuje instituce, aby si tím nenahrazovaly tlumočníky.
Proč je to přesto zlom
Znakových jazyků je na světě přes dvě stě a používá je podle Googlu kolem sedmdesáti milionů neslyšících a nedoslýchavých lidí. Strojový překlad řeči jim celou tu dobu byl k ničemu, protože znakový jazyk není angličtina ukázaná rukama – má vlastní gramatiku i slovník a překládá se, ne přepisuje. SL2T je první model tohohle druhu, který se dostal do běžně prodávaného telefonu; na projektu se podle DeepMindu podíleli neslyšící od prvního nápadu, který přišel od neslyšícího zaměstnance Sama Sepaha, přes sběr dat až po testování.
Zatím to platí pro jediný telefon a jediný znakový jazyk. Google slibuje další zařízení „brzy“ a další jazyky později, bez příplatku; kdy a jaké, neříká. Sám Google tomu přitom neříká přístup k informacím, ale pomocný způsob zadávání. I tak je to víc, než měl kdokoli znakující v telefonu do letošního srpna.