Abstract
Audiovisual speech recognition (AVSR) combines acoustic and visual cues to improve transcription robustness under challenging conditions but remains out of reach for most under-resourced languages due to the lack of labeled video corpora for training. We propose a zero-AV-resource AVSR framework that relies on synthetic visual streams generated by lip-syncing static facial images with real audio. We first evaluate synthetic visual augmentation on Spanish benchmarks, then apply it to Catalan, a language with no annotated audiovisual corpora. We synthesize over 700 hours of talking-head video and fine-tune a pre-trained AV-HuBERT model. On a manually annotated Catalan benchmark, our model achieves near state-of-the-art performance with much fewer parameters and training data, outperforms an identically trained audio-only baseline, and preserves multimodal advantages in noise. Scalable synthetic video thus offers a viable substitute for real recordings in zero-AV-resource AVSR.
Abstract (translated)
音频-视频语音识别（AVSR）结合了声学和视觉线索，以在挑战性条件下提高转录的鲁棒性。然而，由于缺乏用于训练的标注视频语料库，大多数资源匮乏的语言仍然无法使用这种技术。我们提出了一种零音频-视频资源的AVSR框架，该框架依靠通过将真实的语音与静态面部图像进行唇同步生成合成视觉流来实现。 首先，我们在西班牙语基准数据集上评估了合成视觉增强的效果；然后将其应用于加泰罗尼亚语——一种没有标注过的音频-视频语料库的语言。我们合成了超过700小时的说话头像视频，并对预训练的AV-HuBERT模型进行了微调。在手动注释的加泰罗尼亚语基准数据集上，我们的模型实现了接近最先进水平的表现，使用了更少的参数和训练数据，在噪声环境下的多模态优势也得到了保持，并且优于相同的音频独立法基线模型。 因此，可扩展的合成视频为零音频-视频资源条件下的AVSR提供了一种可行的替代方案。
URL
https://arxiv.org/abs/2603.08249
