تعتبر الخواتم الذكية الجديدة ثورة في مجال تكنولوجيا التواصل، حيث توفر حلاً مبتكرًا لترجمة لغة الإشارة إلى نص في الوقت الحقيقي.
هذه الخواتم الذكية تترجم لغة الإشارة في الوقت الحقيقي
في بداية القرن العشرين، أحدث ويليام هوي ثورة في لعبة البيسبول الكبرى. كان اللاعب الأصم الأكثر شهرة في التاريخ، وقد علم فريقه لغة الإشارة الأمريكية (ASL) للتواصل في الملعب مع إبقاء الخصوم في الظلام. لقد تركت خطابه الصامت، وهو إرث يعود لأكثر من قرن، أيضًا تأثيرًا على الحكام الذين بدأوا في اتخاذ القرارات باستخدام إشارات اليد.
تُعتبر ASL واحدة من حوالي 300 لغة إشارة تُستخدم اليوم من قبل حوالي 70 مليون شخص أصم حول العالم. لكن فقط شريحة صغيرة من المجتمع تفهم الإشارات. يمكن أن تكون المهام اليومية، مثل الطلب في مطعم أو التعرف على أشخاص في المناسبات الاجتماعية، صعبة. لسد الفجوة، طورت مجموعة كورية جنوبية خواتم ذكية لترجمة حركات الأصابع إلى نص.
تتطلب الأجهزة القديمة عادةً مجموعة من الكابلات لتوصيل المستشعرات. لكن الخواتم الجديدة لاسلكية، مما يتيح للناس استخدام حركات اليد الطبيعية. كما أن الخواتم تمتد لتناسب أحجام الأصابع المختلفة. تجعل هذه التحديثات استخدامها أكثر راحة وموثوقية، كما كتب الفريق. كل خاتم يعمل ببطارية قابلة للاستبدال تدوم 12 ساعة.
يمكن للمتحدثين بطلاقة في لغة الإشارة التواصل بسرعات تصل إلى حوالي 100 إلى 150 إشارة في الدقيقة، وهو ما يشبه المحادثة المنطوقة. تحتاج الأجهزة إلى مواكبة هذه السرعة لتجنب التوقفات غير المريحة. لذلك، طور الفريق نظام “الإكمال التلقائي” المعتمد على الذكاء الاصطناعي، الذي، مثل الكتابة، يخمن الكلمة التالية بناءً على ما تم الإشارة إليه بالفعل لتوليد العبارات والجمل بشكل فوري.
تم تدريب الخواتم على 100 كلمة شائعة في ASL ولغة الإشارة الدولية (ISL)، وكانت دقتها أكثر من 88 في المئة في الاختبارات، حتى بالنسبة للمستخدمين الذين ليس لديهم خبرة.
تعتبر الخواتم خطوة نحو “التفاعل السلس بين المتحدثين بلغة الإشارة وغير المتحدثين”، كما كتب الفريق.
دعونا نتحدث
هناك مجموعة متنوعة من الأجهزة التي تترجم لغة الإشارة إلى نص أو كلام، وبعضها موجود بالفعل في السوق.
أحد التصاميم يشبه قليلاً ألعاب الواقع الافتراضي. يستخدم الكاميرات وبرامج رؤية الكمبيوتر للتعرف على حركات اليد. النهج سريع ودقيق إلى حد ما في المختبر، لكنه يواجه صعوبات في السيناريوهات الواقعية، حيث تتسبب التغييرات في الإضاءة أو الخلفية في ارتباك النظام.
تعتبر الأجهزة التي يرتديها المستخدمون أكثر موثوقية. على سبيل المثال، يستخدم WearSign مستشعرات لالتقاط النشاط الكهربائي للعضلات أثناء الإشارة وترجمته إلى نص. غالبًا ما تحتاج هذه الأجهزة إلى تخصيصها للمستخدم، وهو عقبة تحد من استخدامها، حيث لا يستطيع البعض الالتزام بالتدريب.
حاول المهندسون أيضًا تضمين مستشعرات تتبع في قفاز ذكي. ترسل المستشعرات إشارات عبر كابلات إلى جهاز إرسال لاسلكي مشترك. لكنها تشبه إلى حد ما استخدام الأدوات أثناء ارتداء قفاز شتوي ثقيل. تحد الأجهزة من الحركة الطبيعية وتكون غير مريحة للاستخدام اليومي.
غالبًا ما تأتي أيضًا بحجم واحد فقط مع مواضع مستشعر ثابتة، كما كتب الفريق. لذا، اعتمادًا على حجم اليد، قد تكون المستشعرات في أماكن غير صحيحة، مما يقلل من الدقة.
ضع خاتمًا عليها
للتغلب على هذه المشاكل، قام الفريق ببناء خواتم ذكية لتتبع الأصابع السبعة الأكثر هيمنة في الإشارة. (لم يتم تضمين الخنصر الأيمن، والوسطى الأيسر، والإبهام.) تُرتدى الخواتم أسفل المفصل الثاني للسماح بالحركة الطبيعية.
كل جهاز مصنوع من مادة مرنة لتناسب أحجام الأصابع المختلفة ويبدو أكثر مثل لاصق شفاف من خاتم تقليدي. يلتقط مقياس تسارع صغير الحركات مثل الانحناء، والتجعيد، والثبات. المستشعرات رخيصة، ومنخفضة الطاقة، وتستخدم بالفعل في ساعات آبل، وFitbits، وغيرها من الأجهزة القابلة للارتداء. هناك أيضًا شرائح مدمجة لإدارة استخدام الطاقة، ومرسلات بلوتوث رقيقة، وبطاريات قابلة للاستبدال تدوم حوالي 12 ساعة.
تبث الخواتم إشارات إلى جهاز مضيف، يقوم بمعالجة البيانات والحفاظ على جدول زمني لكل حركة حتى لا تختلط الإشارات الواردة في الترجمة.
لتحديد الكلمات، يتطابق النظام بين الإشارات وقاعدة بيانات من 100 إشارة في ASL وISL. على سبيل المثال، يعني إغلاق كفي اليدين المفتوحين إلى قبضة “أريد”. يمكن للخواتم أيضًا التقاط الإشارات أثناء الحركة، مثل “رقص” أو “طيران”، وأيضًا تلك التي تُحافظ على الأصابع ثابتة، مثل “أنا” و”أنت”. في المستخدمين الجدد، كانت دقة النظام 88 في المئة لكل من ASL وISL.
لضمان تدفق المحادثات بشكل طبيعي، أضاف الفريق ذكاءً اصطناعيًا لتتبع المحادثات وتوقع الكلمة التالية. في الاختبارات، أكمل النظام عبارات بسيطة، مثل “العائلة تريد حيوان جميل”.
على الرغم من أنها لا تزال تجريبية، يمكن أن تترجم الخواتم أيضًا بين لغات الإشارة. لأن الذكاء الاصطناعي يتعلم من الإشارات فقط، مع وجود بيانات تدريب كافية، يمكن أن يتحول في النهاية إلى نوع من ترجمة جوجل للغة الإشارة.
لكن حركات الأصابع لا تلتقط الطيف الكامل للغة الإشارة. تحمل تعبيرات الوجه، وحركات الفم، ووضع الكتف والجسم، والسرعة، والإيقاع معلومات حيوية، بما في ذلك المعنى والعاطفة. بدون هذا السياق، يمكن أن يسهل على النظام إساءة فهم النية. بعض الجهود تعود الآن إلى الأنظمة القديمة المعتمدة على الفيديو لالتقاط تجربة الإشارة بالكامل، هذه المرة مع أجهزة أكثر أناقة وقوة معالجة أكبر.
يعتقد الفريق أن الخواتم قد تكون مفيدة في أماكن أخرى أيضًا، مثل الاستخدام في الواقع الافتراضي أو المعزز، وواجهات الكمبيوتر بدون لمس، وتتبع حركات اليد في إعادة التأهيل.
مع تقدم التكنولوجيا، يمكن أن تصبح هذه الخواتم أداة حيوية لتعزيز التواصل بين الصم وغير الصم، مما يفتح آفاق جديدة للتفاعل الاجتماعي.
