NLP前沿动态综述

1. 林衍凯（预训练模型技术）

讲者：林衍凯
题目：预训练模型技术：进展与挑战
摘要：018年以来，深度学习领域的研究进入了预训练大模型时代。从自然语言处理领域的BERT、GPT-3，图像领域的VIT、MAE到多模态的DALLE-2，超大规模预训练模型展示了其令人瞩目的小样本、推理等能力，为深度学习的研究提供了一种全新的范式，更为自然语言处理等应用场景开辟广泛的探索空间。本次报告将回顾预训练模型技术的起源与发展，并进一步讨论其未来面临的挑战。
简介：林衍凯，中国人民大学高瓴人工智能学院助理教授，毕业于清华大学计算机系自然语言处理与社会人文计算实验室。研究方向包括预训练模型、信息抽取、知识图谱等。目前已在人工智能、自然语言处理等领域的著名国际会议ACL、EMNLP、NAACL、IJCAI、AAAI等发表相关论文30余篇，Google Scholar统计引用数超过7000。曾获2020年教育部自然科学一等奖（第3完成人）、北京市优秀毕业生、清华大学学术新秀等。曾担任EMNLP、ACL ARR等会议领域主席。

2. 桂韬（大模型提示学习）

讲者：桂韬
题目：大模型提示学习进展综述
摘要：自2018年以来，预训练语言模型成为NLP领域一项非常重要的技术突破，在各种NLP任务上都取得了不错的性能表现。随着预训练模型的体量不断增大，比如从BERT-base 110M参数发展到GPT-3 1750亿参数、悟道2.0 1.75万亿参数等，大模型Fine-tune过程中所需的硬件和数据需求也在不断增长，丰富的下游任务也使得预训练和微调阶段的设计更为复杂。如何高效、低成本地利用大模型成为我们面临的新问题。在此背景下，Prompt Tuning逐渐成为大模型使用的新范式。本次报告将回顾提示学习的发展脉络，探讨当前提示学习新的应用场景，并展望未来发展存在的挑战。
简介：桂韬，复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为自然语言处理、信息抽取和鲁棒模型。兼任中国中文信息学会青年工作委员会委员、青源会青年科学家。在高水平国际学术期刊和会议上发表了30余篇论文，主持国家自然科学基金、CCF-犀牛鸟、华为、海康威视、悟道、微软等多个基金项目。担任 TPAMI、ACL、EMNLP、AAAI、IJCAI 等著名期刊/会议领域主席或审稿人。曾获中国中文信息学会优秀博士论文奖、COLING2018 领域主席推荐奖、NLPCC2019 亮点论文奖、复旦大学“学术之星”特等奖，入选第七届“中国科协青年人才托举工程”。

3. 董力（多模态大模型）

讲者：董力
题目：多模态大模型动态综述
摘要：多模态输入作为人类智能的感知基础，近年来受到了来自各个领域的关注，研究人员在如何进行多模态融合、对齐、互助等问题做了很多探索。得益于自监督预训练（如GPT, BEiT）和模型架构的进步，使大规模多模态基础模型的诞生成为了可能。一方面，预训练使得模型能够从大规模的文本、图像、音频等数据中进行学习，极大地减小了平行对齐数据的依赖，并使得我们能学习出更通用、泛化能力更好的世界知识。另一方面，基于Transformers的模型架构在各个领域都取得了很好的建模结果，这使通用的网络结构成为可能。在上面的基础之上，多模态学习呈现出明显的“大一统”趋势，使各个领域发生了融合，从而推动了通用人工智能的进步。
简介：董力，微软亚洲研究院自然语言处理组研究员，博士毕业于爱丁堡大学。现主要从事大规模预训练的相关研究工作。曾获得AAAI-2021 Best Paper Runner Up、2019 AAAI/ACM SIGAI Doctoral Dissertation Award Runner Up、ACL-2018 Best Paper Honourable Mention，并多次担任ACL、EMNLP、NAACL等会议领域主席。

4. 张家俊（机器翻译）

讲者：张家俊
题目：机器翻译前沿综述
摘要：机器翻译是自然语言处理领域的代表性任务。场景的多样性和任务的复杂性是机器翻译的典型特征。虽然基于Transformer的神经机器翻译研究范式五年来未曾有显著改进，但是机器翻译研究一直非常火热，新的应用场景、研究问题和研究思路不断涌现。本次报告将从不同角度探讨机器翻译最近的研究趋势和方法。
简介：张家俊，中国科学院自动化研究所研究员、博士生导师，主要研究方向为机器翻译和自然语言处理，获得国家优秀青年科学基金资助，入选中国科学院青年创新促进会优秀会员、中国科协首届青年人才托举工程和北京智源青年科学家。发表CCF-A/B类论文80余篇，出版学术专著2部、译著1部。获得中国中文信息学会钱伟长中文信息处理科学技术奖一等奖、青年创新奖一等奖和北京市科学技术奖一等奖等。担任中国中文信息学会青年工作委员会主任和机器翻译专委会副主任，多次担任自然语言处理国际顶级学术会议ACL/EMNLP/COLING的(资深)领域主席、担任《自动化学报》编委。

5. 张伟男（对话生成）

讲者：张伟男
题目：开放域对话生成前沿综述
摘要：开放域对话系统的回复构建分为检索式和生成式两种技术方案。随着大模型的不断发展，逐渐有两种技术方案融合的趋势，以提升开放域对话系统回复的多样性和连贯性，本次报告将就以上三类技术方案中的代表性前沿技术和面向的开放域对话具体任务进行综述和趋势分析。
简介：张伟男，副教授/博士生导师，哈尔滨工业大学计算机学院院长助理，黑龙江省中文信息处理重点实验室副主任。研究兴趣包括人机对话及自然语言处理。在ACL、AAAI、WWW、IJCAI、IEEE TKDE、ACM TOIS等CCF A类国际会议及国际顶级期刊发表论文多篇，多次担任ACL、EMNLP领域主席、AAAI高级程序委员会委员（SPC）及多个国际会议及期刊的程序委员会成员、审稿人及期刊编委。目前为中国中文信息学会青年工作委员会副主任，中国计算机学会（CCF）术语审定工作委员会执委、CCF哈尔滨分部秘书长，中国人工智能学会青年工作委员会委员，北京智源青源会会员。主导研发了智能人机对话系统“笨笨”，上线至今拥有近7000多微信平台用户，积累百万级人机对话数据对，2019年3月“笨笨”中的开放域人机对话功能成功落地到科大讯飞AIUI智能交互平台。曾获黑龙江省科技进步一等奖、吴文俊人工智能科技进步二等奖及黑龙江省青年科技奖等。

6. 何世柱（知识推理）

讲者：何世柱
题目：知识推理前沿综述
摘要：知识推理是实现人工智能系统举一反三能力的关键技术，也是验证自然语言深层理解能力的重要手段。目前，知识工程进入新阶段，大规模知识系统不仅包括符号表示的知识图谱，也包含数值表示的预训练大模型，而符号与数值表示的知识推理在计算模式、支撑应用等方面各具优劣。近年来，随着知识资源的丰富和深度学习研究的深入，知识推理不断向更真实的应用场景扩展。本报告将介绍知识推理的前沿技术进展，包括各种知识推理任务、主流方法和推理能力支撑下的具体应用。
简介：何世柱，中科院自动化所模式识别国家重点实验室副研究员，硕士生导师。主要研究方向为知识推理、问答系统和自然语言处理，在ACL、AAAI、EMNLP等顶级国际会议和重要学术期刊上发表论文20余篇，Google Scholar总引用4400余次。先后承担了多项国家与企业项目，参与撰写《知识图谱》《知识图谱：算法与实践》两本专著，获得2018年获得中国中文信息学会 “钱伟长中文信息处理科学技术奖”一等奖、2019年度北京市科学技术进步奖一等奖、入选2020年中国科学院青年创新促进会会员。

7. 魏忠钰（智能问答）

讲者：魏忠钰
题目：智能问答前沿综述
摘要：智能问答作为自然语言处理的重要任务之一，使机器能够理解用自然语言提问并简明扼要地回答问题。从网络搜索到专家系统，问答系统广泛应用于各个领域，以协助信息搜索。深度学习方法促进了各种问答任务，并在智能问答的性能改进方面表现出显着效果。因此，基于深度学习方法的智能问答近年来引起了学术界和工业界的广泛关注。智能问答领域任务包括问题分类（Question Classification）、答案提取（Answer Extraction）、问答匹配（Question–Answer Matching）、知识库问答（Knowledge Base Question Answering）和问题生成（Question Generation）。本次报告将介绍了近年来用于这些问题的深度学习方法的最新发展。
简介：复旦大学大数据学院长聘副教授，智能复杂体系实验室双聘研究员，博士生导师，复旦大学数据智能与社会计算实验室（Fudan DISC）负责人，香港中文大学博士，美国德州大学达拉斯分校博士后。现任中国中文信息学会情感计算专委会副秘书长，社交媒体处理专委会常务委员兼秘书，青年工作委员会执委会副主任。主要研究领域包括自然语言处理，社会计算和多模态智能交互技术，发表论文100余篇。曾获得2019年度中国中文信息学会社会媒体处理新锐奖，2020年度华为技术优秀成果奖，2021年上海市启明星计划，2022年计算机学会自然语言处理专委青年新锐学者。

8. 赵鑫（个性推荐）

讲者：赵鑫
题目：推荐算法前沿综述
摘要：随着互联网技术的发展，信息系统内的资源呈指数级增长，用户获取高质量信息资源的难度不断增加。为了有效应对所出现的信息过载问题、充分满足用户的信息需求，推荐算法受到了学术界的广泛关注，同时也成为支撑互联网应用的重要技术途径之一。本次报告将围绕推荐算法的主要学术会议（包括SIGIR、SIGKDD、ACM RecSys等）进行研究工作调研，梳理目前学术界的主要前沿进展，最后将介绍一些重要的研究方向。
简介：赵鑫，现为中国人民大学高瓴人工智能学院长聘副教授。2014年7月于北京大学获得博士学位，随后进入中国人民大学工作至今。研究领域为信息检索与自然语言处理，共计发表论文100余篇。荣获2020年吴文俊人工智能优秀青年奖、ECIR 2021时间检验奖（Test of Time Award）等，入选中国科协青年人才托举工程、北京智源青年科学家、CCF-IEEE CS青年科学家。

9. 谢晓晖（稠密检索）

讲者：谢晓晖
题目：稠密检索前沿综述
摘要：随着预训练语言模型的蓬勃发展，基于预训练语言模型的稠密检索（dense retrieval）技术在信息检索的召回阶段逐渐表现出优越的性能，得到了学术界和工业界的广泛关注。与传统的基于字词匹配的稀疏检索（sparse retrieval）模型相比，稠密检索模型通过训练编码器，学习和获取查询和文档的向量表示，并通过向量索引技术，更好地理解用户的查询意图并召回相关文档。本报告将介绍稠密检索的基本概念，发展历史和前沿进展，包括介绍在编码器训练，索引结构优化和提升稠密检索泛化能力等方面的最新研究工作。
简介：谢晓晖，清华大学博士后，水木学者。主要研究方向包括人工智能、信息检索和用户行为建模。2016年和2021年分别于清华大学计算机系获学士和博士学位；2021年开始在清华大学计算机系从事博士后研究。在相关领域国际会议和期刊如SIGIR、theWebConf、WSDM、TOIS等发表论文20余篇，曾获2021年中国人工智能学会优秀博士论文奖、SIGIR 2020最佳论文提名奖等荣誉奖励。

10. 陈慧敏（AI伦理）

讲者：陈慧敏
题目：预训练模型伦理前沿综述
摘要：人工智能伦理关注人工智能技术与人和社会交互过程中的价值与规范，一直是计算机科学与社会科学共同关注的议题。近年来，预训练模型逐渐成为人工智能的基础“软”设施，广泛应用在各类下游任务中，其中存在的伦理风险也成为备受关注的研究热点。目前，研究者们已经发现预训练模型中存在着偏见观念、毒害言论、隐私泄露等伦理问题，并相应提出一系列治理手段。本报告将围绕预训练模型的伦理问题，从伦理风险的评估和治理方案出发，介绍此方向的前沿进展，并对未来可能发展方向展开一定讨论。
简介：陈慧敏，清华大学博士后。主要研究方向为社会计算和自然语言处理。2020年于清华大学计算机系获得博士学位，随后于清华大学新闻与传播学院从事博士后研究工作至今。在相关领域国际高水平会议和期刊EMNLP、AAAI、IJCAI、TBD等发表论文十余篇。