Abstract
Indonesian, spoken by over 200 million people, remains underserved in multimodal emotion recognition research despite its dominant presence on Southeast Asian social media platforms. We introduce IndoMER, the first multimodal emotion recognition benchmark for Indonesian, comprising 1,944 video segments from 203 speakers with temporally aligned text, audio, and visual annotations across seven emotion categories. The dataset exhibits realistic challenges including cross-modal inconsistency and long-tailed class distributions shaped by Indonesian cultural communication norms. To address these challenges, we propose OmniMER, a multimodal adaptation framework built upon Qwen2.5-Omni that enhances emotion recognition through three auxiliary modality-specific perception tasks: emotion keyword extraction for text, facial expression analysis for video, and prosody analysis for audio. These auxiliary tasks help the model identify emotion-relevant cues in each modality before fusion, reducing reliance on spurious correlations in low-resource settings. Experiments on IndoMER show that OmniMER achieves 0.582 Macro-F1 on sentiment classification and 0.454 on emotion recognition, outperforming the base model by 7.6 and 22.1 absolute points respectively. Cross-lingual evaluation on the Chinese CH-SIMS dataset further demonstrates the generalizability of the proposed framework. The dataset and code are publicly available. this https URL
Abstract (translated)
Bahasa Indonesia, yang digunakan lebih dari 200 juta orang, masih kurang didukung dalam penelitian pengenalan emosi multi-modal meskipun hadir dominan di platform media sosial Asia Tenggara. Kami memperkenalkan IndoMER, benchmark pertama untuk pengenalan emosi multi-modal dalam Bahasa Indonesia yang terdiri dari 1.944 potongan video dari 203 pembicara dengan anotasi teks, audio dan visual yang disinkronkan secara temporal di tujuh kategori emosi. Dataset ini menunjukkan tantangan realistis termasuk ketidaksinkronan antar modul dan distribusi kelas ekor panjang yang dibentuk oleh norma komunikasi budaya Indonesia. Untuk mengatasi tantangan tersebut, kami merancang OmniMER, kerangka adaptasi multi-modal yang didasarkan pada Qwen2.5-Omni yang meningkatkan pengenalan emosi melalui tiga tugas pendeteksian khusus modul: ekstraksi kata kunci emosi untuk teks, analisis ekspresi wajah untuk video dan analisis prosody untuk audio. Tugas-tugas penunjang ini membantu model mengidentifikasi petunjuk yang relevan dengan emosi di setiap modul sebelum penggabungan, mengurangi ketergantungan pada korelasi palsu dalam lingkungan sumber daya rendah. Eksperimen di IndoMER menunjukkan bahwa OmniMER mencapai 0,582 Macro-F1 untuk klasifikasi sentimen dan 0,454 untuk pengenalan emosi, mengungguli model dasar sebesar 7,6 dan 22,1 poin mutlak masing-masing. Evaluasi silang bahasa di dataset CH-SIMS dalam Bahasa Mandarin lebih lanjut menunjukkan generalisasi kerangka yang disarankan. Dataset dan kode tersedia secara publik di tautan ini: [URL Anda].
URL
https://arxiv.org/abs/2512.19379
