Abstract
Automated facial expression quality assessment (FEQA) in neurological disorders is critical for enhancing diagnostic accuracy and improving patient care, yet effectively capturing the subtle motions and nuances of facial muscle movements remains a challenge. We propose to analyse facial landmark trajectories, a compact yet informative representation, that encodes these subtle motions from a high-level structural perspective. Hence, we introduce Trajectory-guided Motion Perception Transformer (TraMP-Former), a novel FEQA framework that fuses landmark trajectory features for fine-grained motion capture with visual semantic cues from RGB frames, ultimately regressing the combined features into a quality score. Extensive experiments demonstrate that TraMP-Former achieves new state-of-the-art performance on benchmark datasets with neurological disorders, including PFED5 (up by 6.51%) and an augmented Toronto NeuroFace (up by 7.62%). Our ablation studies further validate the efficiency and effectiveness of landmark trajectories in FEQA. Our code is available at this https URL.
Abstract (translated)
在神经疾病中的自动面部表情质量评估（FEQA）对于提高诊断准确性并改善患者护理至关重要，然而有效地捕捉面部肌肉运动的细微变化仍是一个挑战。我们提出分析面部关键点轨迹，这是一种简洁且信息丰富的表示方法，它从高层次结构角度编码这些微妙的变化。因此，我们引入了轨迹引导的动作感知Transformer（TraMP-Former），这是一个新的FEQA框架，该框架融合了关键点轨迹特征以进行精细的运动捕捉，并结合RGB帧中的视觉语义线索，最终将组合后的特征回归为一个质量评分。 广泛的实验表明，TraMP-Former在具有神经疾病的基准数据集上实现了最先进的性能，包括PFED5（提高了6.51%）和增强版的Toronto NeuroFace（提高了7.62%）。我们的消融研究表明了关键点轨迹在FEQA中的高效性和有效性。我们的代码可在以下链接获取：[提供URL]。 该研究的主要贡献包括： 1. 提出了TraMP-Former，这是一种利用面部关键点轨迹结合视觉语义线索的新型FEQA框架。 2. 通过实验验证了关键点轨迹的有效性，并展示了其在神经疾病相关的基准数据集上的优越性能。 3. 开源代码供其他研究人员使用和进一步开发。
URL
https://arxiv.org/abs/2504.09530
