评测征集

第二十三届中国计算语言学大会（CCL 2024）
技术评测任务征集

2024年7月25-28日，太原

会议网站：http://cips-cl.org/static/CCL2024/index.html

“第二十三届中国计算语言学大会”（The Twenty-third China National Conference on Computational Linguistics, CCL 2024）将于2024年7月25日至28日在山西太原市举行，会议由山西大学承办。中国计算语言学大会创办于1991年，由中国中文信息学会计算语言学专业委员会负责组织。经过30余年的发展，中国计算语言学大会已成为国内自然语言处理领域权威性最高、规模和影响最大的学术会议。作为中国中文信息学会（国内一级学会）的旗舰会议，CCL聚焦于中国境内各类语言的智能计算和信息处理，为研讨和传播计算语言学最新学术和技术成果提供了最广泛的高层次交流平台。

CCL大会从2017年开始组织技术评测（Evaluation Workshop），为中文语言处理研究者提供测试相关技术、算法和系统的平台。已组织评测任务43项，涉及词法、句法、语义、语用，现代汉语和古代汉语等多层面汉语语言处理基础技术及其在电商、通信、司法等领域的应用，开放多个公开数据集，参赛队伍累计达数千支。

今年大会的评测研讨会（简称CCL24-Eval）为了更好地促进国内外同行交流、提升评测影响力，经评测委员会提议，大会组委会、出版委员会跟ACL协商，确定本届评测将继续在ACL Anthology的CCL2024会议下开设专门的Proceedings。评测任务的总结报告论文和各参赛队的参赛报告论文均有机会被收录。评测委员会将组织专家进行双盲审稿，评测中内容和写作质量均佳的评测报告（中英文）将被 CCL Anthology 和 ACL Anthology 收录。

今年大会将继续组织技术评测，现诚挚地向相关领域的学者、研究机构及企业征集评测任务方案。方案中应详细描述任务内容、评价标准、评测数据的准备情况及大致赛程（请参考下文的模板示例）。任务负责人（一个任务一位负责人，负责和评测委员会沟通；评测过程中，原则上不允许变更）将评测任务申请书发送至 libin.njnu@gmail.com 和 tanhongye@sxu.edu.cn。

技术评测日程

  • 任务征集开始：
    2023年11月1日
  • 任务征集结束：
    2023年12月31日
  • 各评测任务发布&宣传：
    2024年1月
  • 任务组织者发布训练集：
    2024年3月-5月
  • CCL官方发布全部评测任务：
    2024年3月1日
  • 各任务开展技术评测：
    2024年3月-5月
  • 评测任务结束：
    2024年5月31日
  • 提交中文或英文技术报告：
    2024年6月
  • 评测论文审稿&评测论文录用通知：
    2024年7月
  • 评测论文Camera-Ready版提交：
    2024年7月
  • 纠错排版，提交ACL和CCL Anthology收录：
    2024年7月
  • CCL 2024评测研讨会：
    2024年7月

程序（审稿）委员会：

  • 刘鹏远（北京语言大学 信息科学学院 研究员）
  • 马龙龙（中国科学院软件研究所 副研究员）
  • 苏祺（北京大学 外国语学院 研究员）
  • 王萌（江南大学 人文学院 副教授）
  • 唐旭日（华中科技大学 外国语学院 教授）
  • 王东波（南京农业大学 信息管理学院 教授）
  • 刘浏（南京农业大学 信息管理学院 副教授）
  • 安波（中国社会科学院民族学与人类学研究所 助理研究员）
  • 梁社会（南京师范大学 国际文化教育学院 副教授）
  • 李琳（青海师范大学 计算机学院 副教授）
  • 钱小飞（上海大学 文学院 博士）
  • 孙承杰（哈尔滨工业大学 计算机科学与技术学院 副教授）
  • 毛先领（北京理工大学 计算机学院 副教授）
  • 鹿文鹏（齐鲁工业大学/山东省科学院 计算机学院 教授 ）
  • 刘美玲（东北林业大学 信息与计算机工程学院 副教授）

更多席位增加中...

评测任务可包括但不限于以下主题：

  • 自然语言处理基础任务
    • 词法、句法分析
    • 语义分析
    • 篇章、语用分析
    • 跨语言、小语种自然语言处理
  • 自然语言处理应用
    • 知识图谱
    • 问答与对话系统
    • 阅读理解
    • 文本生成
    • 信息检索、推荐系统与社会媒体计算
    • 自然语言处理与医疗、教育、人文、司法等领域结合应用
  • 大模型的应用与评测
    • 大模型的具体应用
    • 大模型的评估与评测方法
  • 多模态计算
    • 语音、文本、图像、视频、脑电、核磁等多模态数据分析与建模计算
    • VR、AR等语言相关计算应用

征集企业赞助

CCL24-Eval寻求广大企业赞助，赞助方式有多种模式：

（1）赞助主办方，企业可获得宣传相应的权益。

（2）赞助某一项评测任务，可获得任务的冠名权。

（3）赞助模式包括但不限于：提供奖金（给参赛的获奖队）、资金（资助主办方办会）、算力（给与主办方和参赛队以GPU算力支持）、平台（提供网络平台以展示AB榜等）

评测主席

林鸿飞，大连理工大学

李 斌，南京师范大学

谭红叶，山西大学

2023年11月1日



CCL24-Eval***评测任务申请书参考示例

组织者及联系方式

负责人及联系方式【负责和评测委员会沟通】

联系人及联系方式【负责和参赛队伍联系】

请注意：一个任务一位负责人，评测过程中原则上不允许变更

1.任务内容

请给出评测的具体内容（任务定义、任务设置等）

2.评测数据

请给出评测所用的数据信息（数据样例、数据分布等）

3.评价标准

请给出评测任务的评价标准（每个任务的评价标准，最终评测成绩的评价标准等）

4.评测赛程

根据CCL24-Eval总体安排，请给出评测的具体赛程，包括：报名、数据发布、评测脚本发布、LeaderBoard筹备（如有）、结果提交、A/B榜或初赛决赛安排（如有）、公布结果等时间节点

5.资助情况

请给出评测的评奖与资助计划

6.网站建设与论文评审

请给出评测任务的网址（一般推荐GitHub，可参考2023年评测各任务）

7.论文格式

会议投稿需统一使用LaTeX模板。提交的论文最多包含 6 页正文，参考文献页数不限。由于本次会议采用双盲审稿，作者姓名和单位不能出现在投稿的论文中。因此，作者的自引不可采用“我们提出”的方式，而是用“作者名字提出…”。不符合这些要求的论文将不经过完整的审稿流程而直接被拒稿。

论文模板下载链接（后续可能更新为2024版）：

http://cips-cl.org/static/CCL2023/downloads/ccl2023_template.zip

8.其他

请重点参考CCL23-Eval评测发布页面：

第二十二届中国计算语言学大会 - CCL 2023 (cips-cl.org)

http://cips-cl.org/static/CCL2023/cclEval/taskEvaluation/index.html