第三届“小牛杯”幽默计算——图文多模态幽默识别评测

一、任务介绍

幽默是一种特殊的语言表达方式,在日常生活中扮演着化解尴尬、活跃气氛、促进交流的重要角色。而幽默计算是近年来自然语言处理领域的新兴热点之一,其主要研究如何基于计算机技术对幽默进行识别、分类与生成,具有重要的理论和应用价值。

随着互联网和社会媒体的快速发展,幽默作为一种富有想象力和创造性的语言现象,不仅仅出现在文本和对话中,更呈现出多模态共同表达的趋势。Meme(迷因图,梗图)作为多模态幽默的重要代表,是指通过模仿的方式在人与人之间传播的思想、行为或风格,其目的是传达特定的现象、主题或意义(维基百科)。Meme由图片和对应的文本组成,以图文结合的方式形成幽默效果,其中文本一般是对图片的注释或曲解。本次评测基于Meme数据集进行图文多模态幽默识别,包含两个任务。

任务1:Meme幽默程度比较

幽默信息的对比有助于判断幽默的相对程度。训练模型提取幽默信息间的不同,理解二者的差异,这对计算机“读懂”幽默具有十分重要的意义。因此,本任务要求参赛系统对给定的两个Meme(如例1)进行幽默程度的比较,从中选出两者中更幽默的Meme。

例1 不同Meme对比,右侧Meme相比更幽默

任务2:Meme幽默等级划分

幽默是日常生活中沟通交流的重要组成部分,也是人类智慧与创造力的结晶。由于幽默特征与主观因素关系密切,“可笑或有趣”对于不同的人多具有不同的诠释,即不同的幽默往往存在着不同的幽默等级。为了研究这一现象,该任务旨在通过分析幽默的内容,探索对幽默等级划分有效的方法,即预测不同幽默的有趣程度。本任务将往届幽默等级识别任务扩展到图像和文本两个模态,依据Meme的幽默程度将Meme标注为强幽默(例2)、普通幽默(例3)和弱幽默(例4)三个等级,要求参赛系统对给出的单个Meme进行分析,预测该Meme的幽默等级。

例2 强幽默

例3 普通幽默

例4 弱幽默

二、数据介绍

任务1:Meme幽默程度比较

本任务训练集由给定幽默等级的Meme组成,包括强幽默、普通幽默和弱幽默三个等级。测试集由不同幽默程度的Meme_a和Meme_b组成,在预测时,使用标签“1”表示前者比后者更幽默,标签“0”表示后者比前者更幽默。

训练集数据样例格式如下:

Field Type Description
id int Meme编号
img img Meme图片
text str Meme文本
label int Meme标签

测试集数据样例格式如下:

Field Type Description
id int Meme对编号
img_a img Meme_a图片
text_a str Meme_a文本
img_b img Meme_b图片
text_b str Meme_b文本

任务2:Meme幽默等级划分

本任务与任务1采用同一个训练集,测试集除未给出标签信息外,格式与训练集格式相同。测试集的样例格式如下:

Field Type Description
id int Meme编号
img img Meme图片
text str Meme文本

两个任务使用同一训练集,数据集的规模统计如下:

任务任务1任务2
训练集3000
测试集10001000

三、评价方式

任务1:Meme幽默程度比较

该任务是二分类任务,标签有:Meme_a更幽默(label=1)、Meme_b更幽默(label=0)。任务采用F1值进行评价,具体公式如下,其中P、R分别代表准确率(Precision)和召回率(Recall):

任务2:Meme幽默等级划分

该任务是三分类任务,标签有:弱幽默(label=1)、普通幽默(label=2)、强幽默(label=3)。任务采用宏平均(Macro-Average)进行评价。宏平均首先对每一个类统计评价指标值,然后对所有类的指标值求算术平均,具体公式如下:

队伍最终的得分由两个任务的得分综合决定,即:Score=任务1得分+任务2得分

四、报名方式及赛程安排

报名时间

2021.4.1-2021.5.31

报名方式:

本次评测采用电子邮件进行报名,邮件标题为:“CCL2021-幽默计算-参赛单位”,例如:“CCL2021-幽默计算-大连理工大学”;邮件内容为:“参赛队名,参赛队长信息(姓名,邮箱,联系电话),参赛单位名称”。请参加评测的队伍发送报名邮件至相应邮箱:humorcomputing@163.com。

赛程安排:

赛事链接:http://cips-cl.org/static/CCL2021/cclEval/humorcomputation/index.html

本次评测分为两个阶段。

第一阶段:持续8周(2021.5.6-2021.6.30)。

比赛训练集、验证集将于5月6日发布。在该阶段,参赛队伍可在每周提交一次(每周四22:00截止)验证集结果,组织方会根据参赛队伍在验证集上的得分进行排名,并每周在GitHub上公布该周各个队伍的排名及分数信息。第一阶段成绩不作为最终成绩,仅为参赛队伍迭代模型提供参考。

第二阶段:持续2周(2021.7.1-2020.7.15)。

比赛完整测试集将于7月1日发布,参赛队伍需在最终截止日期前(含7月15日)提交完整测试集结果。同第一阶段,每个队伍每周有一次提交机会,组织方每周在Github上公布该周各个队伍的排名及分数信息,取两周中最好成绩作为参赛队伍的最终成绩。组织方将根据完整测试集上的得分对参赛队伍进行排名,同时该排名结果将会在CCL2021官方网站公布。

提交方式:

比赛的两个阶段都使用邮箱进行结果提交。参赛队伍需要将包含结果文件的邮件发送至邮箱humorcomputing@163.com,邮件的标题为“CCL2021-参赛队名”,邮件附件为结果文件。结果文件为无BOM的以utf-8为编码格式的csv文件,文件命名格式为:参赛队名_任务号.csv。如:参赛队名为“CCL2021”,提交2个任务的结果文件名为“CCL2021_1.csv”和“CCL2021_2.csv”。csv文件分隔符使用逗号“,”,每行结尾的换行符为“\n”,提交的结果文件其格式不正确不予计算成绩,样例格式如下:

id label
id1 label1
id2 label2

五、奖项设置

  • 本届评测将评选出如下奖项,颁发奖金和荣誉证书。
  • 本评测奖金由小牛翻译独家赞助。
  • 由中国中文信息学会计算语言学专委会(CIPS-CL)为获奖队伍提供荣誉证书。
奖项 一等奖 二等奖 三等奖
数量 一名 两名 三名
奖励 ¥10,000 + 荣誉证书 ¥3,500 + 荣誉证书 ¥1,000 + 荣誉证书

六、注意事项

  1. 本次评测使用的数据集由网络获取,仅限于本次技术评测及学术研究使用,未经许可不能作为商业用途或其他目的。

  2. 训练集数据用于模型的学习,验证集和测试集用于模型的效果评测。其中验证集和测试集的标签信息不公开发布,用于组委会进行最终评测。

  3. 如需使用本数据集进行课题研究及论文发表,请联系:humorcomputing@163.com。

  4. 数据集的具体内容、范围、规模及格式以最终发布的真实数据集为准。最终解释权归于CCL2021与DUTIR。

  5. 仅允许使用所有参赛者均可获得的开源代码、工具以及外部数据。

  6. 算法与系统的知识产权归参赛队伍所有。 要求最终结果排名前6的队伍提供算法代码与系统报告(包括方法说明、数据处理、参考文献和使用开源工具等信息),供会议交流。

  7. 本评测联系人:杨亮(liang@dlut.edu.cn)。