روباتی که آواز را لب‌خوانی می‌کند

هر روز بر میزان قابلیت‌ روبات‌ها افزوده می‌شود و حالا هم پژوهشگران دانشکده مهندسی کلمبیا با تأکید بر این موضوع که ماشین‌ها اکنون می‌توانند رفتار پیچیده انسانی را تنها با مشاهده یاد بگیرند، به دنبال روبات‌هایی خاص هستند.
این پژوهشگران، یک روبات با نام «امو» را توسعه داده‌اند که می‌تواند تنها با نگاه کردن به ویدیوهای آنلاین در یوتیوب و...، آوازها را یاد بگیرد و لب‌خوانی کند.«اِمو» البته یک روبات انسان‌نما نیست و می‌توان آن را یک چهره روباتیک دانست که با پوست سیلیکونی، پوشیده شده و توسط ۲۶ موتور مستقل کنترل می‌شود تا لب‌ها، فک و گونه‌ها به صورت واقعی حرکت کنند. این موتورها به «اِمو» اجازه می‌دهند ۲۴ حرف صامت و ۱۶ حرف مصوت که برای گفتار و آواز خواندن طبیعی، حیاتی است را به درستی ادا کند.
البته فرآیند یادگیری در چند مرحله اتفاق افتاد. ابتدا «اِمو» در حالی که خودش را در آینه نگاه می‌کرد، چهره خود را با حرکت دادن موتورها بررسی کرد. سپس پژوهشگران یک خط یادگیری معرفی کردند که صدا را به حرکت وصل می‌کند. بدین ترتیب «اِمو» ویدیوهای یوتیوب مربوط به افراد مختلف که در حال صحبت یا آواز خواندن بودند را تماشا کرد و به طور همزمان یک مدل هوش مصنوعی رابطه بین صدا و حرکت قابل مشاهده لب را تحلیل ‌کرد. در واقع این روبات به جای تمرکز بر زبان یا معنا، سامانه صداهای خام گفتار را مطالعه کرد و در نهایت هم یک «مبدل کنش چهره»، الگوهایی که روبات در طول زمان یادگرفته‌ را به فرمان‌های لحظه‌ای تبدیل کرد. این رویکرد به «اِمو» اجازه داد نه تنها در زبان انگلیسی بلکه در زبان‌هایی همچون فرانسوی، عربی و چینی که هرگز آموزش ندیده بود هم لب‌خوانی کند. این روش برای آواز هم که به دلیل تغییرات ریتم، سخت‌تر بود، کارآیی داشت.
پژوهشگران این مطالعات را بسیار مهم می‌دانند و معتقدند اگر قرار است روبات‌های آینده در کنار مردم کار کنند باید ارتباط آنها به شکل طبیعی باشد. افزودن مواردی مانند پوست مصنوعی که به روبات‌ها شکلی شبیه انسان می‌دهد،همراه با لب‌خوانی واقعی، نشان می‌دهد که روبات‌ها در گذر زمان بیشتر شبیه به انسان‌ها شده‌اند و هر روز اجتماعی‌تر می‌شوند. هرچند «اِمو» هنوز یک پروژه پژوهشی است، اما این پروژه نشان می‌دهد که ممکن است روزی روبات‌ها مانند انسان‌ها مهارت‌ها را یاد بگیرند و به کار ببرند.