CCL2024·第二十三届中国计算语言大会评测专题论坛公布

“第二十三届中国计算语言学大会”（The Twenty-third China National Conference on Computational Linguistics, CCL 2024）将于2024年7月25-29日在山西太原举行，会议由中国中文信息学会计算语言学专业委员会主办，山西大学承办。

中国计算语言学大会创办于1991年，由中国中文信息学会计算语言学专业委员会主办。经过30余年的发展，中国计算语言学大会已成为国内自然语言处理领域权威性最高、规模和影响最大的学术会议。作为中国中文信息学会的旗舰会议，CCL聚焦于中国境内各类语言的智能计算和信息处理，为研讨和传播计算语言学最新学术和技术成果提供了最广泛的高层次交流平台。

本次大会由清华大学孙茂松教授、山西大学梁吉业教授担任大会主席。

会议将于7月26日组织评测论坛，复旦大学张奇教授、天津大学熊德意教授将进行特邀报告，各评测组织单位与获奖队伍也将进行评测报告。

大会已经开启注册，期待与各位学者的相遇！

网站：http://cips-cl.org/static/CCL2024/index.html

评测论坛

主席：林鸿飞

大连理工大学林鸿飞

简介：林鸿飞，主要研究领域为自然语言处理、情感计算和信息检索。担任中国中文信息学会常务理事、情感计算专委会副主任、医疗健康与生物信息处理专委会副主任。担任中国人工智能学会理事、语言智能专委会副主任、离散智能计算专委会副主任。担任《中文信息学报》、《模式识别与人工智能》、《小型微型计算机系统》、《大连理工大学学报》（自然科学版）、SCI期刊JBI和IJDMB等期刊编委。主持国家八六三高科技计划、国家自然科学基金等项目十余项，作为课题负责人参与国家自然科学基金重点项目、国家重点研发计划项目多项。入选辽宁省“百千万人才工程”百人层次。获得辽宁省科技进步二等奖和自然科学三等奖，获得国家教学成果一等奖和二等奖。

主席：李斌

南京师范大学李斌

简介：李斌，南京师范大学文学院教授。主要从事计算语言学和数字人文方向的交叉学科研究，包括词法分析、认知语义计算、语料库、语言知识库、语法理论、历史人文计算与数据库构建方面。担任中国中文信息学会计算语言学专委会和青年工作委员会委员、中国人工智能学会语言智能专委会委员、江苏省人工智能学会自然语言处理专委会委员、中国图象图形学学会可视化与可视分析专委会委员、中国古籍保护协会古籍智能开发与利用专委会秘书长、中国民族语言学会语言资源与计算人文专委会副主任委员。出版专著三部，在国内外期刊和重要会议上发表论文六十多篇。

主持人/主席：谭红叶

山西大学谭红叶

简介：谭红叶，山西大学计算机与信息技术学院教授、博士生导师。中国中文信息学会计算语言学专委会委员、语言与知识计算专委会委员、医疗健康与生物信息处理专委会委员。主要研究方向为自然语言处理，主持国家自然科学基金项目3项，参与国家新一代人工智能重大项目、国家重点研发计划项目、863计划项目、国家自然科学基金重点项目多项。作为骨干成员撰写专著1部，获山西省科技进步一等奖与二等奖各1项、山西省教学成果特等奖1项。获山西省教授协会教学名师称号。

论坛特邀报告

特邀讲者1：张奇

复旦大学张奇

题目：大模型评测方法思考
摘要：2023年以来，大语言模型迎来了迅猛的发展，在多个领域展现出前所未有的能力。然而，当前对大模型进行全方位评测面临诸多挑战，包括涉及的范围广、工作量大、评测成本高昂等。本次报告将介绍大模型评测的难点问题，以及可能的解决思路，并系统梳理当前的评测方法和体系。
讲者：张奇，复旦大学计算科学技术学院教授、博士生导师，上海市智能信息处理重点实验室副主任。兼任中国中文信息学会理事、CCF大模型论坛常务委员、CIPS大模型专委会委员、人工智能学会青工委常务委员等。在ACL、EMNLP、COLING、SIGIR、全国信息检索大会等重要国际国内会议多次担任程序委员会主席、领域主席、讲习班主席等。发表论文150余篇，获得美国授权专利4项，著有《自然语言处理导论》、《大规模语言模型：从理论到实践》。研发了复旦眸思多模态大模型、国际首个自然语言处理鲁棒性评测平台TextFlint、国际首个统一的越狱攻击框架EasyJailbreak。相关研究成果获得WSDM 2014最佳论文提名奖、COLING 2018领域主席推荐奖、NLPCC 2019杰出论文奖、COLING 2022杰出论文奖、NeurIPS 2023 Instruction Workshop最佳论文奖、ICLR 2024亮点论文奖。获得上海市“晨光计划”人才计划、复旦大学“卓越2025”人才培育计划等支持，获得钱伟长中文信息处理科学技术一等奖、汉王青年创新一等奖、上海市科技进步二等奖、教育部科技进步二等奖、ACM上海新星提名奖、IBM Faculty Award等奖项。

特邀讲者2：熊德意

天津大学熊德意

题目：中文大模型评测探索、实践与思考
摘要：大模型评测值守大模型落地最后一公里，是度量大模型能力边界、洞察大模型潜在风险的重要技术工具。本报告将概述大模型黑盒与白盒评测方法，分析各类评测方法优缺点，探讨中文大模型全生命周期评测理念与框架，总结TJUNLP在中文大模型评测方面近两年的实践经验及发现，包括中文大模型评测基准、平台、体系和标准构建等，并对基于评测的大模型能力发展与安全治理进行思考和展望。
讲者：熊德意，天津大学智能与计算学部教授、博士生导师，自然语言处理实验室负责人，天津市“一带一路”联合实验室语言智能与技术中外联合研究中心主任。主要研究方向为自然语言处理，特别专注于大语言模型、机器翻译、AI对齐、常识推理、认知计算等方向的研究。在IEEE TPAMI、AI、AAAI、ACL等国际著名期刊和会议上发表论文150余篇，出版中英文专著各一部，受理/授权发明专利30余项，参与编制大模型相关标准多项。获得国家重点研发计划“政府间国际科技创新合作”重点专项、英国皇家学会牛顿高级学者基金、工信部人工智能产业创新任务揭榜挂帅、云南省科技厅重点研发计划等20余项项目资助。获得北京市科学技术奖二等奖、中文信息学会中文信息处理科学技术奖青年创新奖一等奖等奖项。担任IALP 2012&2021程序委员会共同主席、CWMT 2017程序委员会共同主席、NeurIPS、ACL、EMNLP、NAACL、COLING、AACL等多个知名国际会议的（高级）领域主席、赞助主席、演示主席等。担任TACL及CL执行主编、ACM TALLIP副主编、Data in Brief栏目主编等。领导研制了仁文伏羲大模型及OpenEval大模型开放评测平台。

评测报告

任务1：第二届汉语框架语义解析评测

组织单位：山西大学
简介：框架语义解析（Frame Semantic Parsing，FSP）是基于框架语义学的细粒度语义分析任务，其目标是从句中提取框架语义结构，实现对句子中事件或情境的深层理解。框架语义解析对阅读理解、文本摘要、关系抽取等下游任务具有重要意义。本次评测任务为汉语框架语义解析（Chinese FSP，CFSP），该任务包括三个子任务：框架识别（Frame Identification）、论元范围识别（Argument Identification）、论元角色识别（Role Identification）。相较于第一届，本次评测添加了面向短语级图示性构式、以构式为“目标词”进行框架语义解析的数据。该评测引起了工业界和学术界的广泛关注，共有1988支队伍报名参与，其中72支队伍提交了结果。

任务2：中文意合图语义解析评测

组织单位：北京语言大学
简介：意合图（Chinese Parataxis Graph）是以事件为中心的语义表征图，为单根有向图，图中的节点对应承载事件、实体、属性的单元，边为有向边，表示单元间的语义关系。意合图在符合人类对语言认知的基础上，充分考虑落地应用的可操作性，使其尽可能层次化，以便后续语义分析路径的设计，实现通用性与扩展性兼具的语义表征方案。中文意合图语义解析评测任务仅要求生成句子级意合图框架，即输入单元为句子，输出为意合图框架结构，无需生成细化实体结构、情态结构、时空结构等内部语义分类，仅判断是否属于该结构成分即可。本次评测所提供的数据集来源于经人工标注的国际中文教育阅读文本与宾州树库语料，评测为开放式测试，允许使用外部资源。共有14支队伍报名，最终有7支队伍提交结果。

任务3：第四届中文空间语义理解评测

组织单位：北京大学
简介：空间表达描述了物体之间的空间方位关系，是自然语言中的高频现象。要准确理解文本中空间表达语义，不仅需要语言知识，还需要具备空间认知能力，构建空间场景，并基于世界知识进行空间方位信息相关的推理。中文空间语义理解评测（Spatial Cognition Evaluation，简称 SpaCE）以测试机器中文空间语义理解水平为目标，自2021年开始连续举办了三届赛事。相较于前三届赛事，本届评测更加注重针对大语言模型的空间语义理解能力的测试，以选择题的形式考察空间信息异常识别、空间信息实体识别、空间信息角色识别、空间方位信息推理、空间形义关系判别五个层次的空间语义理解能力。最终共有12个团队提交了模型和结果。

任务4：第四届中文抽象语义表示解析评测

组织单位：南京师范大学
简介：抽象语义表示（Abstract Meaning Representation，AMR）是近年来兴起的一种语义表示方法，能够将句子的语义结构抽象为一个单根有向无环图。中文抽象语义表示（Chinese Abstract Meaning Representation, CAMR）结合汉语的语言特点，在AMR基础架构上进行了改进，在保留AMR较强的整句语义表示能力的同时，主要新增了概念对齐和关系对齐的标注。本次评测的任务是对古代汉语句子进行解析，输出包含概念对齐信息和关系对齐信息的CAMR语义图，并按Align-smatch评测指标下的F1值进行成绩排名。相比往届，本次评测新增2500句古代汉语语料作为验证集和测试集，重点评价参赛模型的古汉语AMR解析性能；同时沿用往届的训练集，包含16576句现代汉语，以观察解析系统在古代汉语上的迁移学习能力。共有三个团队提交了模型和结果。

任务5：古文历史事件类型抽取评测

组织单位：北京语言大学
简介：事件抽取是从自然语言文本中识别和提取相关事件信息。由于古文句法、语义复杂，使用范围小，针对古代汉语的信息抽取任务仍然面临着较大挑战。本评测旨在评估古文历史事件检测的算法性能，包括触发词识别（Trigger Identification）和事件类型判别（Event Type Classification）两个子任务。该评测构建了一个具有层级逻辑性的古文事件类型体系，一共包含9大类、67小类，然后基于古文事件类型体系和《二十四史》语料构建了中国古文历史事件检测数据集（A Cross-Historical Dataset with a Logical Event Schema for Classical Chinese Event Detection，CHED），共标注了8122个有效事件实例（包含触发词和事件类型）。共有28个团队报名参加，其中学术机构团队17个，商业机构团队2个，独立团队或个人9个，最终共有15个团队提交了模型和结果。

任务6：中小学作文修辞识别与理解评测

组织单位：华东师范大学
简介：在中小学生的学习过程中，修辞手法不仅是阅读理解和写作技巧的核心组成部分，同时也是塑造优秀文学作品的不可或缺的元素。识别并理解学生作文中的修辞使用，可以帮助学生提高作文表达能力，指导学生完成更高质量的叙述和描写。本次评测围绕“中小学作文修辞理解”任务，将修辞手法分为比喻、比拟、夸张和排比，进一步对这4种修辞手法进行细粒度分类，并给出每种修辞描写的对象和内容，包括：中小学作文修辞形式类型识别、中小学作文修辞内容类型识别、中小学作文修辞成分抽取。评测包含3个赛道，共有32支队伍注册参加评测，最终9个团队提交了评估结果并获得了有效分数，其中7个团队的总分超过了基线。

任务7：第二届中小学作文流畅性评价

组织单位：华东师范大学
简介：中小学生作文流畅性评价（Chinese Essay Fluency Evaluation，CEFE）任务旨在对影响作文流畅性的错误进行识别和纠正。目前的工作通常将作文流畅性评价作为单独的自然语言处理任务，缺乏多层次、多角度的系统性整合。本次评测从词法、句法、语义等角度系统地定义了影响中小学作文流畅性的细粒度错误类型，并提供修正建议。与去年相比，为进一步全面地对作文的流畅程度进行评估，本次评测新增作文流畅性评级任务，并在训练集中新增1200条句子。评测涉及了中小学作文病句类型识别、中小学作文病句重写、中小学作文流畅性评级3个赛道，共有29个队伍报名参与评测，10个队伍提交了结果。

任务8：儿童故事常识推理与寓意理解评测

组织单位：山西大学
简介：故事包含大量的社会、物理等常识，同时蕴含深刻的道理，是知识传播、文化传承、价值塑造的重要载体。故事理解是NLP中的一项重要任务。但目前对模型故事理解能力的评价与分析非常有限。儿童故事常识推理与寓意理解评测（Evaluation on Commonsense Reasoning and Moral Understanding in Children’s Stories，CRMU）基于人类故事理解的认知过程，构建了一个寓言故事理解数据集CRMUS，设计了常识推理、寓意理解两个任务来评价中文预训练语言模型和大型语言模型的常识推理和故事理解能力。其中，常识推理涉及到的常识类型包含时间常识、空间常识、生物常识、物理常识以及社会常识。评测共有33个团队报名，最终15个团队提交了结果。

任务9：中文图文多模态理解评测

组织单位：之江实验室、哈尔滨工业大学
简介：中文图文多模态理解评测（Chinese Vision-Language Understanding Evaluation，CVLUE）任务旨在从图文检索（Image-Text Retrieval）、视觉问答（Visual Question Answering）、视觉定位（Visual Grounding）和视觉对话（Visual Dialog）等四个任务多角度评价中文图文多模态预训练模型的图文多模态建模和理解能力。该任务包含图片检索（Image Retrieval）、文本检索（Text Retrieval）、视觉问答（Visual Question Answering）、视觉定位（Visual Grounding）、视觉对话（Visual Dialog）5个子任务。本次评测任务共有11支队伍报名参赛，由于任务较为困难，最终只有3支队伍提交了模型和结果。

任务10：手语数字人翻译质量评测

组织单位：北京联合大学等
简介：手语数字人（Sign Language Avatars）通过模拟手语动作，为聋人提供实时的翻译服务，有助于打破语言障碍，提升聋人群体的社会参与度。本次评测由中国聋人协会手语研究与推广委员会业务指导，旨在评测手语数字人将汉语翻译成中国手语方面的自然性和准确性，确保手语数字人能够符合手语语法规则，并且能够被聋人群体所理解和接受。评测将以手语语法的准确性、表达的自然性和可读性以及是否满足聋人理解为主要标准，综合考虑手势清晰度、流畅性、与汉语原文的语义一致性等要素，具体包括手语语法准确性、自然性、可读性、文化适应性四个评测标准。共有14个团队注册并申请了语料库，其中9个来自学术界，5个来自工业界，最终有10个团队提交了结果。