评测征集

第二十二届中国计算语言学大会（CCL 2023）
技术评测任务征集

2023年8月3-5日，哈尔滨

会议网站：http://cips-cl.org/static/CCL2023/index.html

“第二十二届中国计算语言学大会”（The Twenty-second China National Conference on Computational Linguistics, CCL 2023）将于2023年8月3-5日在黑龙江哈尔滨市举行，会议由哈尔滨工业大学承办。中国计算语言学大会创办于1991年，由中国中文信息学会计算语言学专业委员会负责组织。经过30余年的发展，中国计算语言学大会已成为国内自然语言处理领域权威性最高、规模和影响最大的学术会议。作为中国中文信息学会（国内一级学会）的旗舰会议，CCL聚焦于中国境内各类语言的智能计算和信息处理，为研讨和传播计算语言学最新学术和技术成果提供了最广泛的高层次交流平台。

CCL大会从2017年开始组织技术评测（Evaluation Workshop），为中文语言处理研究者提供测试相关技术、算法和系统的平台。已组织评测任务33项，涉及词法、句法、语义、语用，现代汉语和古代汉语等多层面汉语语言处理基础技术及其在电商、通信、司法等领域的应用，开放多个公开数据集，参赛队伍累计达数千支。

今年大会的评测研讨会（简称CCL23-Eval）为了更好地促进国内外同行交流、提升评测影响力，经评测委员会提议，大会组委会、出版委员会跟ACL协商，确定本届评测将在ACL Anthology的CCL2023会议下开设专门的Proceedings。评测任务的总结报告论文和各参赛队的参赛报告论文均有机会被收录。评测委员会将组织专家进行双盲审稿，评测中内容和写作质量均佳的评测报告（中英文）将被 CCL Anthology 和 ACL Anthology 收录。

今年大会将继续组织技术评测，现诚挚地向相关领域的学者、研究机构及企业征集评测任务方案。方案中应详细描述任务内容、评价标准、评测数据的准备情况及大致赛程（请参考下文的模板示例）。任务负责人（一个任务一位负责人，负责和评测委员会沟通；评测过程中，原则上不允许变更）将评测任务申请书发送至 zhli13@suda.edu.cn和libin.njnu@gmail.com。

  • 任务征集截止时间：
    2023年3月31日
  • 整体评测结束时间：
    2023年6月15日
    • 任务组织者要在此截止时间前确定并公布参赛队伍的成绩和排名
  • 提交中文或英文技术报告：
    2023年6月25日
    • 供任务组织者了解参赛队伍的方法；同时技术报告也可作为评奖的考虑因素之一；不提交合格的技术报告，不能获奖
  • 中文或英文技术报告反馈：
    2023年6月28日
    • 任务组织者初评技术报告，并给出反馈
  • 正式提交中英文评测论文：
    2023年7月3日
    • 包括任务组织者撰写的Overview论文、任务组织者推荐的优秀中英文技术报告（提交前请根据任务组织者的建议完善）；进入双盲评审
  • 公布获奖名单：
    2023年7月７日
  • 评测论文录用通知：
    2023年7月10日
  • 论文Camera Ready提交：
    2023年7月15日
    • 录用后的论文将进入ACL/CCL Anthology
  • CCL 2023评测研讨会：
    2023年8月3-5日
    • 任务组织者做Overview报告、颁奖、主持Session；获奖队伍做技术报告

评测任务可包括但不限于以下主题：

  • 自然语言处理基础任务
    • 词法、句法分析
    • 语义分析
    • 篇章、语用分析
    • 跨语言、小语种自然语言处理
  • 自然语言处理应用
    • 知识图谱
    • 问答与对话系统
    • 阅读理解
    • 文本生成
    • 信息检索、推荐系统与社会媒体计算
    • 自然语言处理与医疗、教育、人文、司法等领域结合应用

奖励与资助

CCL23-Eval每个任务将设置一二三等奖，由各任务组织者评选并推荐，一般不超过总参赛队的1/3，经组委会确认后公布。由CCL-2023组委会和中国中文信息学会颁发获奖证书；奖金由各任务组织者筹款并发放。

评测主席

林鸿飞，大连理工大学

李正华，苏州大学

李斌，南京师范大学

2023年1月30日



CCL23-Eval***评测任务申请书参考示例

组织者及联系方式

负责人及联系方式【负责和评测委员会沟通】

联系人及联系方式【负责和参赛队伍联系】

请注意：一个任务一位负责人，评测过程中原则上不允许变更

1.任务内容

请给出评测的具体内容（任务定义、任务设置等）

2.评测数据

请给出评测所用的数据信息（数据样例、数据分布等）

3.评价标准

请给出评测任务的评价标准（每个任务的评价标准，最终评测成绩的评价标准等）

4.评测赛程

根据CCL23-Eval总体安排，请给出评测的具体赛程，包括：报名、数据发布、评测脚本发布、LeaderBoard筹备（如有）、结果提交、A/B榜或初赛决赛安排（如有）、公布结果等时间节点

5.资助情况

请给出评测的评奖与资助计划

6.网站建设与论文评审

请给出评测任务的网址（一般推荐GitHub，可参考2022年评测各任务）

7. 其他

请重点参考CCL22-Eval评测发布页面：http://cips-cl.org/static/CCL2022/cclEval/taskEvaluation/index.html