Vil en app til oversættelse af tegnsprog nogensinde blive en realitet?

Reklame

Forestil dig en verden, hvor barrierer mellem døve og hørelse er væk. En verden, hvor samtaler flyder flydende blandt dem, der hører lyd, og dem, der ikke gør det. Kunne denne verden blive reel i den nærmeste fremtid?

Tilbage i juni udviklede en gruppe marketingstuderende ved Berghs School of Communication en konceptvideo til et fiktivt produkt kaldet Google Gesture. Produktet inkluderede et bærbart håndledsbånd og en mobilapp, der brugte elektromyografi til at læse muskelbevægelserne hos en døve, der udførte tegnsprog. Systemet sendte derefter disse signaler til appen, som oversatte disse signaler til en digitaliseret stemme og ville tale for personen.

Det var temmelig spændende at se den falske marketingvideo. Så spændende, faktisk, at store tech-websteder som Mashable, Slashgear og andre oprindeligt annoncerede produktet som ægte, og derefter senere måtte fortælle kravet og undskylde for deres fejl. Det var en underlig fejl, i betragtning af at der virkelig er et Google-produkt kaldet Google Gesture Search [No Longer Available], som giver dig mulighed for at tegne bevægelser på din mobilskærm for at søge i kontakter, bogmærker og mere.

Uanset hvad Berghs-studerendes koncept præsenterede en bemærkelsesværdig idé, der førte til spørgsmålet - kunne det være muligt at oprette en sådan app til ægte?

Er det muligt at oversætte tegnsprog?

At dissekere marketingkonceptet på et teknisk niveau afslører, at teknologien, der bruger elektromyografi (EMG) til at ”fornemme” tegnsprog, ikke rigtig er så langt nået. Så langt tilbage som i 2009, forskere fra University of Washington var i stand til at bruge flere EMG-sensorer til at afkode muskelbevægelser og konvertere dem til faktiske arm- og håndbevægelser.

Forskerne byggede faktisk et komplet "gestusgenkendelsesbibliotek", der identificerer, hvilke muskelsignaler repræsenterede hvilken gestus. Forskningen beviser, at denne form for teknologi er tilgængelig og klar til at blive implementeret i den slags applikation, som Berghs studerende forestillede sig.

Så har nogen faktisk gjort det endnu? Hvis ikke, hvorfor gør der ikke nogen det og giver døve og hørehæmmede evnen til at kommunikere med nogen i verden gennem tegnsprog?

Fremtiden for realtidsoversættelsesteknologi

Sandheden er, at nogen i virkeligheden arbejder med sådan realtidstegn oversættelsesteknologi.

Der er et firma kaldet SpeechTrans [Broken URL Removed], der har skubbet grænserne for oversættelsesteknologier Glem Google Translate: 3 måder at få en nøjagtig, hurtig oversættelseUanset om du planlægger at ansøge om et job eller en lejlighed i udlandet, eller du ønsker at oversætte din webside, skal du få tingene rigtigt, selv med et fremmedsprog. Læs mere i de seneste år. SpeechTrans samarbejder med teknologipartnere for at producere nogle af de mest bemærkelsesværdige sprogoversættelsestjenester i realtid på markedet i dag. Dette er tjenester, der oversætter tekstchat til tekstchat, tale til tekst og endda realtids tale-til-stemmesprog oversættelse gennem mobiltelefon og desktop applikationer.

For at undersøge, om en tegnsprogsteknologi kunne blive en realitet i den nærmeste fremtid, satte MakeUseOf sig ned med SpeechTrans administrerende direktør John Frei og COO Yan Auerbach for at diskutere denne banebrydende nye oversættelsesteknologi Forstå ethvert sprog med disse 5 sprogoversættelseswebstederTeknologi har gjort verden til et mindre sted. Mennesker fra alle dele af denne planet bruger mange af de samme værktøjer, besøger nogle af de samme websteder og blander sig i forskellige chatrum online. Det... Læs mere og hvor langt ud i fremtiden det måtte være.

Udvikling af en app til oversættelse af tegnsprog

Muo: Er det muligt at udføre den slags tegnsprog til taleoversættelse, som Bergh-studerende portrætterede i denne Google Gesture-konceptvideo?

John: Jeg vil sige, at teknologien er tilgængelig til at udvikle det. Vi arbejder i øjeblikket med Microsoft og Intel med at udforske nogle af de teknologier, de kommer ud med, hvad angår hardware og software. Vi ser for os evnen til at bruge denne teknologi til at genkende tegnsprog og derefter konvertere det til tale- og lydudgang.

Muo: Du arbejder aktivt på at udvikle denne teknologi lige nu?

Yan: Så der var en kunde, der brugte vores software, og syntes, det ville være vidunderligt, hvis vi kunne ændre det, så folk, der er hørehæmmede, kan bruge det til foretage telefonopkald fra vores app, til at kommunikere uden behov for tegnsprog, når de er i person, eller uden behov for en TTY-type service til telefon opkald. Vi udviklede dette produkt, og med finansiering fra Microsoft og Intel lancerede vi SpeechTrans til hørehæmmede på Windows 8.1, hvilket fjerner behovet for tegnsprog.

Muo: Hvordan fungerer appen "personligt"?

Yan: Der er en lytningstilstand, og der er en inputtilstand. Så når nogen taler til dig, tager du lyttetilstand, og det skriver ud alt, hvad de siger på skærmen i tekst. Når du derefter svarer tilbage, skriver du det ud, og derefter taler det højt, hvad du skriver. Med telefonen ringer du bare enhver persons telefonnummer, og når de svarer på telefonen, bliver det som en øjeblikkelig besked. Uanset hvad de taler, får du som IM. Uanset hvad du skriver tales derefter højt via telefonen. Det er den første fase.

Nær fremtid oversættelse af tegnsprog

Muo: Hvilke teknologier kan folk forvente at se i den nærmeste fremtid? Hvad er den næste fase?

John: Vi ser for os - for en person, der kun har evnen til at bruge tegnsprog - at kunne gøre det foran en enhed som en telefon, pc eller bærbar computer. Intel har et nyt kamerasystem, og Microsoft klarer sig lige så godt med Kinect, der gør bevægelsesgenkendelse.

Muo: Hvordan er dette bedre end armbåndskonceptet fremsat af Berghs studerende?

Yan: Grundlæggende vil vores arbejde arbejde på en måde, hvor det ikke kræver, at du lægger noget på din arm. Den genkender 64 point på din hånd. Vi bruger beta-versionen af ​​Intels RealSense-kamera. Så ikke kun vil vi være i stand til at genkende alt tegnsprog og flere forskellige dialekt af tegnsprog, men vi får det også også være i stand til at genkende følelser, ansigtsudtryk og andre små nuancer og derefter konvertere det til talte ord som godt.

Det kræver ikke, at du bærer handsker eller noget. Vi fokuserer specifikt på dette marked, fordi vi bare kan lide at hjælpe mennesker generelt. Vi ønsker ikke kun at hjælpe folk, der vil tale på mange forskellige sprog, men vi vil også hjælpe folk, der ikke kan tale på noget sprog. Teknologien findes, og der er ingen grund til, at deres livskvalitet ikke skal være anderledes end vores.

John: Det er et gennemførligt koncept. Det er bare en anden input og output. Nogle af de samtaler, vi har haft med Microsoft, om nogle af de fremtidige teknologier, er hvor nogen kunne faktisk implantere en mikrochip i nakken, og den læser direkte deres hjernebølger mønstre. Så hvis du hjælper folk, der ikke kan kommunikere, ville vi faktisk se noget lignende som en fase tre implementering.

Sidste år var der en gruppe studerende, der kom ud med en fungerende prototype af en handske, der var tilsluttet en computer. De bevægelser, du lavede med handsken, genkendes derefter og konverteres til tegnsprog. Så de har allerede kapacitet med den nuværende teknologi.

Vores vision er, at vi ikke rigtig ønsker at oprette tilbehøret som de armbånd, som du er nødt til at lægge på. Det burde bare være naturligt og frit flydende for dem [folk, der gør tegnsprog] at gøre det foran deres videokamera. 90% af hvad folk siger i kommunikation er faktisk på deres kropssprog. Når vi er i stand til at få adgang til ansigtsgenkendelse, bevægelser og følelser, kan vi bruge disse data som godt for at sikre, at oversættelsen og hvad de prøver at formidle kommer til udtryk i det rigtige form.

Muo: Er Intel inden for det 5-årige interval for at have denne tegnsproggenkendelsesteknologi?

John: Intel har bestemt en masse ressourcer til rådighed. Deres teknologi og deres software kommer med i et tempo, hvor vi kan få dette til at ske ret hurtigt.

Muo: Har du en tidsramme for, hvornår du håber på at få denne teknologi ud på markedet?

John: For tegnsproget er det omkring 12 til 18 måneder.

Muo: Har nogen derude noget andet som dette til oversættelse af tegnsprog?

John: Jeg så en YouTube-video af IBM lave en prototype, hvor nogen gjorde tegnsprog, men det var et bevis på koncept, og det havde kun tre eller fire ord, som det genkendte. Vi har over fem hundrede tusinde ord, som vi planlægger at rulle det ud med, så det vil tage det til et helt andet niveau.

Konklusion

Mens den vision, som studerende på Berghs drømte om, muligvis ikke bliver fremtidens oversættelsesapp til tegnsprog, betyder det ikke, at et sådant koncept ikke vil ske. Hvad det arbejde, der udføres på SpeechTran, Intel og Microsoft beviser, er, at oversættelse af tegnsprog næsten helt sikkert vil blive en reel teknologi inden for få år. Det involverer sandsynligvis ikke besværlige armbånd, men i stedet for intet andet end et specielt videokamera og en mobilapp.

Gennem magien ved gestus og ansigtsgenkendelse lover denne fremtidens oversættelsess app til fuldstændig revolutionering af mellemmenneskelig kommunikation for hundreder af tusinder af hørehæmmet 5 bedste ressourcer til brugere med handicap med Mac og Apple-enheder Læs mere eller svære at høre mennesker over hele verden.