第三届“小牛杯”幽默计算——图文多模态幽默识别评测

一、任务介绍

幽默是一种特殊的语言表达方式，在日常生活中扮演着化解尴尬、活跃气氛、促进交流的重要角色。而幽默计算是近年来自然语言处理领域的新兴热点之一，其主要研究如何基于计算机技术对幽默进行识别、分类与生成，具有重要的理论和应用价值。

随着互联网和社会媒体的快速发展，幽默作为一种富有想象力和创造性的语言现象，不仅仅出现在文本和对话中，更呈现出多模态共同表达的趋势。Meme（迷因图，梗图）作为多模态幽默的重要代表，是指通过模仿的方式在人与人之间传播的思想、行为或风格，其目的是传达特定的现象、主题或意义（维基百科）。Meme由图片和对应的文本组成，以图文结合的方式形成幽默效果，其中文本一般是对图片的注释或曲解。本次评测基于Meme数据集进行图文多模态幽默识别，包含两个任务。

任务1：Meme幽默程度比较

幽默信息的对比有助于判断幽默的相对程度。训练模型提取幽默信息间的不同，理解二者的差异，这对计算机“读懂”幽默具有十分重要的意义。因此，本任务要求参赛系统对给定的两个Meme（如例1）进行幽默程度的比较，从中选出两者中更幽默的Meme。

例1 不同Meme对比，右侧Meme相比更幽默

任务2：Meme幽默等级划分

幽默是日常生活中沟通交流的重要组成部分，也是人类智慧与创造力的结晶。由于幽默特征与主观因素关系密切，“可笑或有趣”对于不同的人多具有不同的诠释，即不同的幽默往往存在着不同的幽默等级。为了研究这一现象，该任务旨在通过分析幽默的内容，探索对幽默等级划分有效的方法，即预测不同幽默的有趣程度。本任务将往届幽默等级识别任务扩展到图像和文本两个模态，依据Meme的幽默程度将Meme标注为强幽默（例2）、普通幽默（例3）和弱幽默（例4）三个等级，要求参赛系统对给出的单个Meme进行分析，预测该Meme的幽默等级。

例2 强幽默

例3 普通幽默

例4 弱幽默

二、数据介绍

任务1：Meme幽默程度比较

本任务训练集由给定幽默等级的Meme组成，包括强幽默、普通幽默和弱幽默三个等级。测试集由不同幽默程度的Meme_a和Meme_b组成，在预测时，使用标签“1”表示前者比后者更幽默，标签“0”表示后者比前者更幽默。

训练集数据样例格式如下：

Field Type Description
id int Meme编号
img img Meme图片
text str Meme文本
label int Meme标签

测试集数据样例格式如下：

Field Type Description
id int Meme对编号
img_a img Meme_a图片
text_a str Meme_a文本
img_b img Meme_b图片
text_b str Meme_b文本

任务2：Meme幽默等级划分

本任务与任务1采用同一个训练集，测试集除未给出标签信息外，格式与训练集格式相同。测试集的样例格式如下：

Field Type Description
id int Meme编号
img img Meme图片
text str Meme文本

两个任务使用同一训练集，数据集的规模统计如下：

任务任务1任务2
训练集3000
测试集10001000

三、评价方式

任务1：Meme幽默程度比较

该任务是二分类任务，标签有：Meme_a更幽默（label=1）、Meme_b更幽默（label=0）。任务采用F1值进行评价，具体公式如下，其中P、R分别代表准确率（Precision）和召回率（Recall）：

任务2：Meme幽默等级划分

该任务是三分类任务，标签有：弱幽默（label=1）、普通幽默（label=2）、强幽默（label=3）。任务采用宏平均（Macro-Average）进行评价。宏平均首先对每一个类统计评价指标值，然后对所有类的指标值求算术平均，具体公式如下：

队伍最终的得分由两个任务的得分综合决定，即：Score=任务1得分+任务2得分

四、报名方式及赛程安排

报名时间

2021.4.1-2021.5.31

报名方式：

本次评测采用电子邮件进行报名，邮件标题为：“CCL2021-幽默计算-参赛单位”，例如：“CCL2021-幽默计算-大连理工大学”；邮件内容为：“参赛队名，参赛队长信息（姓名，邮箱，联系电话），参赛单位名称”。请参加评测的队伍发送报名邮件至相应邮箱：humorcomputing@163.com。

赛程安排：

赛事链接：http://cips-cl.org/static/CCL2021/cclEval/humorcomputation/index.html

本次评测分为两个阶段。

第一阶段：持续8周（2021.5.6-2021.6.30）。

比赛训练集、验证集将于5月6日发布。在该阶段，参赛队伍可在每周提交一次（每周四22:00截止）验证集结果，组织方会根据参赛队伍在验证集上的得分进行排名，并每周在GitHub上公布该周各个队伍的排名及分数信息。第一阶段成绩不作为最终成绩，仅为参赛队伍迭代模型提供参考。

第二阶段：持续2周（2021.7.1-2020.7.15）。

比赛完整测试集将于7月1日发布，参赛队伍需在最终截止日期前（含7月15日）提交完整测试集结果。同第一阶段，每个队伍每周有一次提交机会，组织方每周在Github上公布该周各个队伍的排名及分数信息，取两周中最好成绩作为参赛队伍的最终成绩。组织方将根据完整测试集上的得分对参赛队伍进行排名，同时该排名结果将会在CCL2021官方网站公布。

提交方式：

比赛的两个阶段都使用邮箱进行结果提交。参赛队伍需要将包含结果文件的邮件发送至邮箱humorcomputing@163.com，邮件的标题为“CCL2021-参赛队名”，邮件附件为结果文件。结果文件为无BOM的以utf-8为编码格式的csv文件，文件命名格式为：参赛队名_任务号.csv。如：参赛队名为“CCL2021”，提交2个任务的结果文件名为“CCL2021_1.csv”和“CCL2021_2.csv”。csv文件分隔符使用逗号“,”，每行结尾的换行符为“\n”，提交的结果文件其格式不正确不予计算成绩，样例格式如下：

id label
id1 label1
id2 label2
… …

五、奖项设置

  • 本届评测将评选出如下奖项，颁发奖金和荣誉证书。
  • 本评测奖金由小牛翻译独家赞助。
  • 由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。
奖项 一等奖 二等奖 三等奖
数量 一名 两名 三名
奖励 ￥10,000 + 荣誉证书 ￥3,500 + 荣誉证书 ￥1,000 + 荣誉证书

六、注意事项

  1. 本次评测使用的数据集由网络获取，仅限于本次技术评测及学术研究使用，未经许可不能作为商业用途或其他目的。

  2. 训练集数据用于模型的学习，验证集和测试集用于模型的效果评测。其中验证集和测试集的标签信息不公开发布，用于组委会进行最终评测。

  3. 如需使用本数据集进行课题研究及论文发表，请联系：humorcomputing@163.com。

  4. 数据集的具体内容、范围、规模及格式以最终发布的真实数据集为准。最终解释权归于CCL2021与DUTIR。

  5. 仅允许使用所有参赛者均可获得的开源代码、工具以及外部数据。

  6. 算法与系统的知识产权归参赛队伍所有。 要求最终结果排名前6的队伍提供算法代码与系统报告（包括方法说明、数据处理、参考文献和使用开源工具等信息），供会议交流。

  7. 本评测联系人：杨亮（liang@dlut.edu.cn）。