EN

多模態情感理解

20.jpg

情感理解是機器實現智能不可或缺的重要能力。情感監督數據存在難以收集和標注困難的問題,導致了目前情感監督數據的匱乏,這也限制了情感理解領域的發展。因此,如何構建高質量的多模態情感監督數據集以及利用大規模無監督的多模態數據進行大規模情感相關預訓練成為了值得研究的課題。首先,本研究在構建高質量的多模態情感監督數據集方面,對構建流程中的數據來源、數據質量、標注質量等制定明確的規范,構建了一個大規模的多模態、多場景、多標簽的中文多模態情感對話數據集,進而通過大量實驗對數據集的有效性進行充分驗證。此外,本研究還提出了基于大規模無監督數據和自監督預訓練的無監督多模態情感特征學習方法,并構建了首個大規模多模態情感預訓練模型MEmoBERT。同時,本研究在多個多模態情感識別任務上進行了全面的實驗分析,分別從準確性、魯棒性以及泛化性等多個方面對MEmoBERT進行了充分的驗證,并取得了前沿的實驗結論。本研究構建的大規模高質量的數據集以及大規模多模態情感預訓練模型都得到了業內的廣泛認可,并分別發表在 ACL 2022 和 ICASSP 2022。

文本正文
復制文本
媒體聯絡
media@baai.ac.cn
大鸡巴操逼网站