第十八届中国计算语言学大会(CCL 2019)技术评测
任务发布

 

“第十八届中国计算语言学大会” (The Eighteenth China National Conference on Computational Linguistics, CCL 2019)将于2019年10月18日—20日在昆明举行,会议由昆明理工大学承办。大会将组织技术评测任务,为研究者提供测试自然语言处理相关技术、算法和系统的平台。

经过前期评测任务征集与筛选,评测委员会确定了CCL2019的评测任务。本次评测任务设置多样,其中多个任务是首次针对中文设置,具有开创性和探索性。欢迎广大研究者参与评测任务,共同推动相关技术发展。评测任务参与者将被大会邀请参加评测研讨会,进行技术分享。

具体任务简介、报名方式及时间安排等信息如下。

一、任务简介

任务名称: 第三届“讯飞杯”中文机器阅读理解评测(CMRC 2019)

任务介绍:

第三届“讯飞杯”中文机器阅读理解(CMRC 2019)的任务是句子级填空型阅读理解(Sentence Cloze-Style Machine Reading Comprehension, SC-MRC)。
根据给定的一个叙事篇章以及若干个从篇章中抽取出的句子,参赛者需要建立模型将候选句子精准的填回原篇章中,使之成为完整的一篇文章。 与第一届中文机器阅读理解(CMRC 2017)的填空型阅读理解不同的是:

  • 空缺部分不再只是一个词,而是一个句子
  • 每个篇章不只是一个空缺,会包含多个空缺位置,机器可利用的信息大大减少
  • 最终的测试集中包含假选项,即该选项不属于篇章中任何一个空缺位置,大大增加了解答难度

提醒:所有公开的集合(试验集、训练集、开发集、资格集)均不含假选项

数据介绍:

所有数据请通过官方GitHub目录下载:数据下载地址

集合 篇章数 问题数 标注形式 是否公开
试验集(Trial Data) 139 1,504 自动标注 公开
训练集(Train Data) 9,638 100,009 自动标注 公开
开发集(Development Data) - - 人工标注 公开
资格集(Qualification Data) - - 人工标注 半公开
测试集(Test Data) - - 人工标注 隐藏

评价方式:

  • 问题准确率(Question ACcuracy, QAC):计算问题(一个空即一个问题)级别的准确率
  • 篇章准确率(Passage ACcuracy, PAC):计算篇章级别的准确率

基线系统:

我们提供了基于BERT (Chinese, base) 的基线系统:GitHub

注意:若使用BERT相关系统,可[BLANK]替换成BERT词表(vocab.txt)中的[unused],避免被当做unk或被切词切开,具体可参考基线代码实现。
目前仅提供试验集的基线结果,其他集合结果将在对应数据公开(开发集、资格集)或相关比赛节点开始(测试集)后提供。

赛程安排:

阶段 事件 状态 时间
赛前 参赛报名 已开始 即日起 ~ 2019年6月30日(报名截止)
资格赛 发布训练集、试验集 已开始 2019年5月23日
发布开发集 未开始 2019年6月10日
系统搭建及调整 未开始 即日起 ~ 2019年7月31日
发布资格集,获取决赛资格 未开始 2019年8月1日 ~ 2019年8月7日
决赛 提交最终评测系统 未开始 2019年8月14日 ~ 2019年8月21日
赛后 公布客观结果排名 未开始 2019年9月(待定)
撰写系统描述报告 未开始 2019年9月(待定)
召开CMRC 2019评测研讨会 未开始 2019年10月19日

奖项设置

本届评测将评选出如下奖项,颁发荣誉证书和奖金。
中国中文信息学会计算语言学专委会(CIPS-CL)为获奖队伍提供荣誉证书。
科大讯飞股份有限公司和河北省讯飞人工智能研究院为获奖队伍提供奖金。

奖项 冠军 亚军 季军
数量 一名 一名 三名
奖励 ¥20,000 + 荣誉证书 ¥10,000 + 荣誉证书 ¥ 5,000 + 荣誉证书

任务名称: CCL 中国法研杯相似案例匹配评测竞赛

任务介绍:

本任务是针对多篇法律文书进行相似度的计算和判断。
具体来说,对于每份文书我们提供文书的标题和事实描述,选手需要从两篇候选集文书中找到与询问文书更为相似的一篇文书。
为了减小选手的工作量,我们相似案例匹配的数据只涉及民间借贷、知识产权纠纷和海商海事这三类文书。

数据介绍:

本任务所使用的数据集是来自“中国裁判文书网”公开的法律文书,其中每份数据由三篇法律文书组成。
对于每篇法律文书,我们仅提供事实描述。
对于每份数据,我们用(d, d1, d2)来代表该组数据,其中d,d1,d2均对应某一篇文书。
对于训练数据,我们保证,我们的文书数据d与d1的相似度是大于d与d2的相似度的,即sim(d, d1) > sim(d, d2)。
我们的数据总共涉及三万组文书三元对,所有的文书三元组对都一定属于民间借贷、知识产权纠纷和海商海事案件中的某一种。

评价方式:

对于测试数据,每组测试数据的形式与训练数据一致为(d1, d2, d3)但是此时我们不再保证sim(d, d1) > sim(d, d2)。
选手需要预测最终的结果是sim(d, d1) > sim(d, d2)还是sim(d, d1) < sim(d, d2)。
如果预测正确,那么该测试点选手可以得到1分,否则是0分。
最后选手的成绩为在所有数据上的得分平均值。
更详细的评价方法可以参考https://github.com/thunlp/CAIL2019/tree/master/sc。

基线系统:

我们提供了两组基线模型,包括基于tf-idf的基线模型和基于bert的语言基线模型,你可以在https://github.com/thunlp/CAIL2019/tree/master/sc中找到它们。

赛程安排:

赛程阶段 初赛阶段 复赛阶段 封测阶段 公布结果
时间安排 2019.5.15—2019.6.09 2019.6.10—2019.8.18 2019.8.19—2019.9.01 2019.9.01—之后

奖项设置

挑战赛将评出一等奖1名,二等奖2名,三等奖4名。由主办方中国中文信息学会(CIPS)为获奖者提供荣誉证书认证;由科大讯飞股份有限公司和中国司法大数据研究院为获奖者提供奖励和参会交流赞助。

一等奖20,000                     二等奖 10,000                     三等奖 5,000

说明:1. 以上所有提及金额均为税前金额。
        2. 获奖算法与系统的知识产权归参赛队伍所有,仅要求获奖团队提供算法与系统报告(包括方法说明、数据处理、参考文献和使用开源工具等信息)及团队成员名单,供颁奖会技术交流。
        3. 获奖队伍将被邀请在CCL 2019大会举办的技术评测论坛上作技术报告。


任务名称: CCL 中移在线服务有限公司杯—用户扩展问句挖掘挑战赛

任务介绍:

中移在线服务有限公司智能应答接入渠道包括微信公众号、移动APP、支付宝、掌厅等互联网渠道,截至目前已上线20余省,日均服务请求近千万量级,每天累积海量用户问句。但由于语言表达多样性,需要对现有标准问句对应的扩展问句库进行不断扩充,进一步提升应答识别效果。
为高效识别用户意图,本任务拟针对知识库中用户标准问句进行相似扩展挖掘,即给定用户标准问句和其对应已标注过的扩展问句,参赛队伍从交互日志中挖掘标准问句对应新的同义句(也称为扩展问句)或者使用其他方法生成标准问句的扩展问句。

数据介绍:

本任务技术评测使用的数据集由中移在线提供,数据主要来源于中移在线智能应答产品的交互日志以及相应的知识库标准问句和扩展问问。
首先我们提供一个公共知识库,对于知识库,采用二元组(post,ori)来代表该组数据,其中ori为标准问句,post为该条标准句对应的扩展问句,数据样例格式如下:
        (飞悦自动提速服务,提速)
        (取消限速,提速)
        (能不能退轻松卡,取消套餐)
        (取消飞享28套餐,取消套餐)
        (我想把飞享套餐退了,取消套餐)

训练集提供10万通交互日志,训练集数据为脱敏的用户真实数据,训练集采用二元组(query,ori),query为用户发送的问题,ori为系统给出的建议标准问句,这里的关联关系仅有部分是正确的,数据样例格式如下:
        (显示欠费,查询充值记录)
        (详单查询,查询详单)
        (想办流量卡,4G流量卡套餐办理方式)
        (想退订网易云三元定向流量,取消业务)
        (销号,销号介绍)
        (携号转网,携号转网服务介绍)

评价方式:

对于测试数据提供标准问和一批用户日志,选手需要预测最终的结果为csv格式文件,输出样例如下:
        ori1,post1,post2,post3
        ori2,post1,post2,post3,post4,post5
        ori3,post1
        ori4,post1,post2
其中ori为测试数据的标准问,post为从用户日志中找到的或生成的该标准问句的扩展问句,对于选手的结果数据采用人工标注的方式进行判断。
假设提供N个标准问,选手找到M(M≤N)个标准问的相似问句,对M中的每个标准问,找到S(最多5个)个相似问句,且其中R个正确,在R中具备完全不同语义的有D个。

选手最终的分为Score=logo

赛程安排:

赛程阶段 第一阶段 第二阶段 第三阶段 第四阶段
时间安排 2019.06.03-2019.06.30 2019.07.01-2019.07.30 2019.08.01-2019.09.15 2019.09.16-之后

奖项设置

挑战赛将针对三个任务分别评出一等奖1名,二等奖2名,三等奖3名。由主办方中国中文信息学会(CIPS)为获奖者提供荣誉证书认证;由中移在线服务有限公司为获奖者提供奖励和参会交流赞助。

一等奖10,000                     二等奖 5,000                     三等奖 3,000

说明:1. 以上所有提及金额均为税前金额。
            2. 获奖算法与系统的知识产权归参赛队伍与中移在线共同所有,要求获奖团队提供算法源码、对应文档、系统报告(包括方法说明、数据处理、参考文献和使用开源工具等信息)及团队成员名单,供颁奖会技术交流。
            3. 获奖队伍将有机会被邀请在CCL-2019大会举办的技术评测论坛上作技术报告。

注意事项

  • 每支队伍需指定一名队长,每支队伍最多不超过5名队员;
  • 每名选手只能参加一支队伍,一旦发现某选手参加多支队伍,将取消所有相关队伍的参赛资格;
  • 除主办方提供的数据集,不得使用任何外部未公开发布或者需要授权的数据;
  • 允许使用开源代码或工具,但不允许使用任何未公开发布或需要授权的代码或工具;
  • 进入复赛的队伍需要在规定时间前将可执行程序、代码、代码说明及最优结果生成文档(包括模型和特征的说明以及本周内每次提升所作改进的说明),上传到主办方指定的Linux服务器,并在小规模样例上测试通过,经组委会评估后即确认获奖资格;如拒绝或未在规定时间内提供相应文档则取消获奖资格,奖品顺延;
  • 主办方自支付奖金之时起,拥有数据竞赛获奖参赛队伍所提交的作品的使用权;
  • 如特殊情况需要,比赛主办方拥有更新比赛时间或取消比赛的权利.

二、报名方式

CCL 中国法研杯相似案例匹配评测竞赛:竞赛网站将于2019年05月08日开放注册报名,请及时关注。登录CCL2019中国“法研杯”法律智能挑战赛官网,完善相关信息,即可报名参赛。

第三届“讯飞杯”中文机器阅读理解评测(CMRC 2019):2019/05/23. 评测报名已开启,注册截止时间为6月30日

CCL 中移在线服务有限公司杯—用户扩展问句挖掘挑战赛:2019年06月15日至2019年06月30日(可能根据参赛队伍情况调整,具体时间请关注官方网站公告栏)。请参赛队伍将队伍信息发送至邮箱:zyzx_ccl_2019@163.com。
发送邮件格式要求如下:
邮件标题:参赛队伍名称_参赛单位名称_ccl_2019
邮件正文:
参赛队伍名称:XXX
参赛队伍名称:XXX
队长姓名:XXX,手机号:XXX,邮箱:XXX@XXX.com,单位/高校:XXX
队员姓名:[XXX,XXX,XXX,XXX]

任务名称 报名网址
第三届“讯飞杯”中文机器阅读理解评测(CMRC 2019) https://hfl-rc.github.io/cmrc2019/
CCL 中国法研杯相似案例匹配评测竞赛 http://cail.cipsc.org.cn/instruction.html
CCL 中移在线服务有限公司杯—用户扩展问句挖掘挑战赛 邮箱:zyzx_ccl_2019@163.com