Bir İşaret Dili Tercüme Uygulaması Hiç Gerçek Olacak mı?

İşitme engelli ile işitme arasındaki engellerin aşıldığı bir dünya düşünün. Konuşmaları ses duyanlar ve duymayanlar arasında akıcı bir şekilde akan bir dünya. Bu dünya yakın gelecekte gerçek olabilir mi?

Haziran ayında Berghs İletişim Okulu'ndaki bir grup pazarlama öğrencisi, Google Gesture adlı kurgusal bir ürün için konsept bir video geliştirdi. Ürün, giyilebilir bir bilek bandı ve işaret dili yapan sağır bir kişinin kas hareketlerini okumak için elektromiyografi kullanan bir mobil uygulamayı içeriyordu. Sistem daha sonra bu sinyalleri uygulamaya aktardı; bu sinyaller dijitalleştirilmiş bir sese çevrildi ve kişi için konuşacaktı..

Sahte pazarlama videosunu izlemek oldukça heyecan vericiydi. Öyle heyecan verici ki, Mashable, Slashgear ve diğerleri gibi büyük teknoloji siteleri ürünü orijinal olarak ilan ettiler ve daha sonra iddiayı tekrar söylemek ve hatalarından dolayı özür dilemek zorunda kaldılar. Gerçekten orada olduğunu düşünerek garip bir hataydı. olduğu kişileri, yer işaretlerini ve daha fazlasını aramak için mobil ekranınıza hareketler çizmenize olanak sağlayan Google Gesture Search [Artık Kullanılamaz] adlı bir Google ürünü..

Ne olursa olsun, Berghs öğrencilerin kavramı, soruna yol açan kayda değer bir fikir sundu - gerçek için böyle bir uygulama oluşturmak mümkün olabilirdi?

İşaret Dilini Çevirmek Mümkün Mü??

Pazarlama kavramının teknik düzeyde dağıtılması, elektromiyografi (EMG) kullanan teknolojinin “duyu” İşaret dili, gerçekten o kadar da zor değil. 2009 yılına kadar Washington Üniversitesi'nden araştırmacılar kas hareketlerini çözmek ve onları gerçek kol ve el hareketlerine dönüştürmek için çoklu EMG sensörlerini kullanabildiler..

Araştırmacılar aslında tamamlandı “jest tanıma kütüphanesi”, hangi kas sinyallerinin hangi hareketi temsil ettiğini belirleme. Araştırma, bu tür bir teknolojinin Berghs öğrencilerinin öngördüğü uygulama türünde mevcut ve uygulamaya hazır olduğunu kanıtlıyor.

Peki bunu henüz kimse başardı mı? Olmazsa, neden kimse bunu yapmıyor ve sağır ve işitme engelini dünyadaki herhangi biriyle işaret diliyle iletişim kurabiliyor?

Gerçek Zamanlı Tercüme Teknolojisinin Geleceği

Gerçek şu ki, birileri aslında böyle bir gerçek zamanlı işaret dili çeviri teknolojisi üzerinde çalışıyor.

SpeechTrans adında, çeviri teknolojilerinin sınırlarını zorlayan bir şirket var. Son yıllarda Google Translate'e Göre En İyi 3 Çeviri Aracı. SpeechTrans, bugün piyasadaki en dikkat çekici gerçek zamanlı dil çeviri hizmetlerinden bazılarını üretmek için teknoloji ortaklarıyla birlikte çalışır. Bunlar, cep telefonundan ve masaüstü uygulamalarından metin sohbeti metin sohbete, sesten metne ve hatta gerçek zamanlı sesten sesli dile çeviriyi yapan hizmetlerdir..

Bir işaret dili teknolojisinin yakın gelecekte bir gerçeklik haline gelip gelmeyeceğini keşfetmek için MakeUseOf, SpeechTrans CEO'su John Frei ve COO Yan Auerbach ile bu çığır açan yeni çeviri teknolojisini tartışmak için oturdu. Bu 5 Dil ile Herhangi Bir Dil Anlayın. 5 Dil Çevirisi Websiteleri Teknolojisi dünyayı daha küçük bir yer haline getirdi. Gezegenin her yerinden gelen insanlar aynı araçların çoğunu kullanıyor, aynı web sitelerinin bazılarını ziyaret ediyor ve çevrimiçi çeşitli sohbet odalarına karışıyor. … Ve geleceğe ne kadar uzakta olabilir.

İşaret Dili Tercüme Uygulaması Geliştirme

MUO: Bu Google Gesture konsept videosunda Berghs öğrencilerinin canlandırdığı konuşma çevirisine tür işaret dili yapmak mümkün mü??

John: Teknolojinin bunu geliştirmek için uygun olduğunu söyleyebilirim. Şu anda Microsoft ve Intel ile birlikte geldikleri bazı teknolojileri, donanım ve yazılım açısından araştırmak için çalışıyoruz. Bu teknolojiyi işaret dilini tanımak için kullanabiliyor ve sonra onu konuşma ve ses çıktısına dönüştürüyoruz..

MUO: Şu anda aktif olarak bu teknolojiyi geliştirmek için çalışıyorsunuz?

Yan: Yani, yazılımımızı kullanan bir müşteri vardı ve onu değiştirebilirsek harika olacağını düşündü, böylece işitme engelliler telefonumuzu uygulamamızdan telefon görüşmeleri yapmak, işaret gerekmeden iletişim kurmak için kullanabilirlerdi. Şahsen veya telefon görüşmeleri için TTY tipi bir servise ihtiyaç duymadan Bu ürünü geliştirdik ve Microsoft ve Intel'den sağlanan fonlarla, Windows 8.1'de işitme engelliler için işaret diline olan ihtiyacı gideren SpeechTrans'ı başlattık..

MUO: Nasıl olur “şahsen” uygulama çalışması?

Yan: Bir dinleme modu var ve bir giriş modu var. Böylece, birileri sizinle konuşurken, dinleme moduna giriyorsunuz ve ekranda söyledikleri her şeyi metin olarak yazıyorsunuz. Sonra, geri döndüğünüzde, onu yazarsınız ve sonra yazdıklarınızı yüksek sesle söyler. Telefonla, herhangi bir kişinin telefon numarasını çevirirsiniz ve telefona cevap verdiklerinde anında mesajlaşırlar. Ne konuşurlarsa konuşun IM olarak alırsınız. Ardından, yazdığınız ne olursa olsun telefon üzerinden yüksek sesle konuşulur. Bu ilk aşama.

Yakın Gelecek İşaret Dili Çevirisi

MUO: İnsanlar yakın gelecekte hangi teknolojileri görmeyi bekleyebilirler? Bir sonraki aşama nedir?

John: Sadece işaret dilini kullanma yeteneğine sahip biri için - bunu telefon, PC veya dizüstü bilgisayar gibi bir cihazın önünde yapabilmek için öngörüyoruz. Intel yeni bir kamera sistemine sahip ve Microsoft da jest tanıma işlevini yapan Kinect ile aynı şeyi yapıyor.

MUO: Berghs öğrencileri tarafından ortaya konan kol bandı konseptinden daha iyi bir şey var mı??

Yan: Temel olarak, bizim kolumuza bir şey koymanı gerektirmeyecek şekilde çalışacağız. Elinizde 64 puan tanıyacak. Intel'in RealSense kamerasının beta sürümünü kullanıyoruz. Bu yüzden sadece tüm işaret dilini ve birçok farklı işaret dili lehçesini tanıyamayacağız, aynı zamanda duyguları, yüz ifadelerini ve diğer küçük nüansları tanıyabilecek ve sonra bunları konuşulan kelimelere dönüştürebileceğiz..

Bu eldiven veya başka bir şey giymenizi gerektirmez. Bu pazara özel olarak odaklanıyoruz çünkü genel olarak insanlara yardım etmek istiyoruz. Sadece birçok dilde konuşmak isteyen insanlara yardım etmek istemiyoruz, aynı zamanda herhangi bir dilde konuşamayan insanlara da yardım etmek istiyoruz. Teknoloji var ve yaşam kalitelerinin bizimkinden farklı olması için hiçbir sebep yok..

John: Bu uygulanabilir bir kavram. Bu sadece farklı bir giriş ve çıkış. Gelecekteki teknolojilerin bir kısmı hakkında Microsoft'la yaptığımız konuşmaların bazıları, birinin boynuna bir mikroçip yerleştirebileceği ve beyin dalgası düzenlerini doğrudan okuduğu yerdir. Yani iletişim kuramayan insanlara yardım ediyorsanız, aslında böyle bir şeyi üçüncü aşama dağıtım olarak görürüz..

Geçen yıl, bir bilgisayara bağlı bir eldivenin çalışan bir prototipiyle ortaya çıkan bir grup öğrenci vardı. Eldiven ile yaptığınız jestler daha sonra tanınacak ve işaret diline dönüştürülecekti. Bu yüzden şimdiki teknolojiyle zaten yetenekleri var.

Vizyonumuz, koymak zorunda olduğunuz kol bantları gibi aksesuarları gerçekten oluşturmak istemiyoruz. Sadece [işaret dili yapan insanlar] video kameralarının önünde yapmak onlar için doğal ve serbest bir akış olmalıdır. İnsanların iletişimde söylediklerinin% 90'ı aslında bedenlerindedir. Yüz tanımaya, jestlere ve duygulara erişebilmek için, çevirinin ve iletmeye çalıştıklarının doğru biçimde ifade edildiğinden emin olmak için bu verileri kullanabileceğiz..

MUO: Intel, bu işaret dili tanıma teknolojisine sahip 5 yıllık bir aralıkta mı?

John: Intel’in kesinlikle bir sürü kaynağı var. Teknolojileri ve yazılımları, bunu oldukça hızlı bir şekilde gerçekleştirebileceğimiz bir hızla geliyor.

MUO: Bu teknolojiyi piyasaya sürmeyi umduğunuzda bir zaman diliminiz var mı??

John: İşaret dili için yaklaşık 12 ila 18 ay.

MUO: İşaret dili çevirisi için dışarıda bir başkası var mı??

John: Birinin işaret dili yaptığı bir prototip yaptığı IBM'in bir YouTube videosunu gördüm, ancak bu bir konsept kanıtıydı ve sadece tanıdığı üç ya da dört kelimeye benziyordu. Yayımlamayı planladığımız beş yüz binin üzerinde kelimemiz var, bu yüzden başka bir düzeye çıkacak.

Sonuç

Berghs'deki öğrencilerin hayal ettikleri vizyon geleceğin işaret dili çeviri uygulaması olmayabilir, ancak bu böyle bir kavramın gerçekleşmeyeceği anlamına gelmez. SpeechTran, Intel ve Microsoft’ta yapılan işin kanıtı, işaret dili çevirisinin birkaç yıl içinde gerçek bir teknoloji olacağının kesin olduğu. Büyük olasılıkla hantal kol bantları içermez, fakat bunun yerine özel bir video kamera ve bir mobil uygulamadan başka bir şey yoktur..

Jestin ve yüz tanımanın büyüsü sayesinde geleceğin bu işaret dili çeviri uygulaması yüz binlerce işitme engelliler için kişilerarası iletişimde devrim yaratacağını vaat ediyor 5 Mac ve Apple Cihaz Kullanıcıları için En İyi Kaynak 5 Mac ve Apple Cihaz Kullanıcıları için En İyi Kaynak Tüm dünyada engelli veya işitme güçlüğü çeken bireyler ile.