Abstract
Lip reading is vital for robots in social settings, improving their ability to understand human communication. This skill allows them to communicate more easily in crowded environments, especially in caregiving and customer service roles. Generating a Persian Lip-reading dataset, this study integrates Persian lip-reading technology into the Surena-V humanoid robot to improve its speech recognition capabilities. Two complementary methods are explored, an indirect method using facial landmark tracking and a direct method leveraging convolutional neural networks (CNNs) and long short-term memory (LSTM) networks. The indirect method focuses on tracking key facial landmarks, especially around the lips, to infer movements, while the direct method processes raw video data for action and speech recognition. The best-performing model, LSTM, achieved 89\% accuracy and has been successfully implemented into the Surena-V robot for real-time human-robot interaction. The study highlights the effectiveness of these methods, particularly in environments where verbal communication is limited.
Abstract (translated)
خواندن لب برای روبات‌ها در محیط‌های اجتماعی بسیار ضرورت دارد و توانایی آن‌ها در درک ارتباط انسانی را بهبود می‌بخشد. این مهارت به آن‌ها کمک می‌کند تا با راحتی بیشتری در محیط‌های شلوغ ارتباط برقرار کنند، به ویژه در نقش‌های داماداری و خدمات مشتری. این پژوهش یک مجموعه داده خواندن لب زبان فارسی تولید می‌کند و فناوری خواندن لب زبان فارسی را به روبات هیومانوئید Surena-V ادغام می‌کند تا قابلیت‌های تشخیص کلام آن را بهبود بخشد. دو روش مقابله‌ای بررسی شده است، یک روش غیر مستقیم با استفاده از ردیابی معالم وجوه و یک روش مستقیم که از شبکه‌های عصبی متقابل (CNN) و شبکه‌های حافظه بلندمدت و کوتاه‌مدت (LSTM) استفاده می‌کند. روش غیرمستقیم بر ردیابی معالم کلیدی، به ویژه اطراف گردن لب، تمرکز دارد تا حرکات را نظاره کند، در حالی که روش مستقیم از داده‌های ویدئویی خام برای تشخیص عمل و کلام استفاده می‌کند. مدل عملکرد برجسته، LSTM با دقت 89٪ به دست آمد و موفقیت‌آمیز اجرا شده است تا روبات Surena-V برای تعامل زنده انسان-ربات به کار رود. این پژوهش موثر بودن این روش‌ها، به ویژه در محیط‌هایی که ارتباط صوتی محدود است، نشان می‌دهد.
URL
https://arxiv.org/abs/2501.13996
