讲习班

基于检索增强的文本生成技术：王琰、蔡登、刘乐茂、史树明

讲者：王琰、蔡登、刘乐茂、史树明
题目：基于检索增强的文本生成技术
时间：2022 年 10 月 28 日 09:00-10:30
摘要：最近，基于检索增强的文本生成在许多NLP任务中取得了成效，引起了广泛的关注。本教程旨在全面介绍基于检索增强的文本生成研究的最新进展。首先我们将介绍基于检索增强的文本生成的一般范式，包括外部知识库的构建、检索工具的训练、以及融合外部知识的方式。随后，我们将分别介绍检索技术在对话生成、机器翻译以及通用文本生成任务中的应用。最后我们将讨论现有基于检索增强的文本生成的局限性和不足，为今后的研究提供参考。
简介：王琰，腾讯人工智能实验室高级研究员。他的研究兴趣包括对话系统、文本生成以及智能问答。他在ACL、EMNLP、NAACL、AAAI、TASLP等学术会议和期刊上发表了30多篇研究论文，其中在检索增强文本生成方面的一项研究获得了ACL 2021的杰出论文奖。他曾担任ACL、EMNLP、WWW、AAAI等会议的审稿人、ACL 2021的session chair和AAAI 2022的高级程序委员会成员。
蔡登，香港中文大学博士研究生。在加入香港中文大学之前，他在上海交通大学获得硕士学位。他的研究兴趣包括语义解析、对话系统及文本生成。他在ACL、EMNLP、NAACL、AAAI、TASLP等学术会议和期刊上发表了30多篇研究论文，其中在检索增强文本生成方面的一项研究获得了ACL 2021的杰出论文奖。他曾多次担任ACL、EMNLP、NeurIPS、ICML等会议的审稿人，并被评选为EMNLP 2020 杰出审稿人。
刘乐茂，腾讯人工智能实验室专家研究员。加入腾讯之前，他就职于日本国立信息通信技术研究所（NICT）。他的研究兴趣包括机器翻译、句法解析以及自然语言理解。他在ACL、EMNLP、NAACL、COLING、ICLR、AAAI、JAIR等学术会议和期刊上发表了40多篇研究论文，其中在检索增强文本生成方面的一项研究获得了ACL 2021的杰出论文奖。他曾担任EMNLP 2020 出版主席，IJCAI 2019和ACL 2021 session chair，以及IJCAI 2021高级程序委员会委员。
史树明，腾讯人工智能实验室自然语言处理中心总监、专家研究员。他的研究兴趣包括知识挖掘、自然语言理解、文本生成以及智能对话。他在ACL、EMNLP、AAAI、IJCAI、WWW、SIGIR、TACL等学术会议和期刊上发表了100多篇论文，H-index为35。他曾担任EMNLP 2021和CIKM 2013的演示主席（demonstration co-chair）。在腾讯AI Lab，他的团队主导构建的系统和开源数据包括文本理解系统TexSmart（第十九届中国计算语言学大会最佳系统展示奖）、交互翻译系统TranSmart、智能创作助手Effidit、大规模中文词向量数据等。

并行文本生成的前沿进展：周浩

讲者：周浩
题目：并行文本生成的前沿进展
时间：2022 年 10 月 28 日 10:30-12:00
摘要：长期以来，采用自左至右生成顺序的自回归生成模型几乎主导了整个文本生成领域，但其顺序生成的约束也带来了生成速度慢，可控生成难等诸多问题。不同于自回归模型，并行生成模型摒弃了特定生成顺序的约束，一次性独立地生成句子中所有的词，缓解了上述自回归模型中存在的问题，受到了广泛的关注。但同时因为文本数据天生的多模态特性，并行生成模型训练难度很大，其生成质量此前还一直落后于自回归模型。针对该问题，前人从动态数据选择，合理的训练目标和解码机制的设计等多个方面对并行生成模型进行改进，取得了显著的生成质量上的提升，本次报告也将会从这几个方面介绍并行生成模型的相关最新进展。
简介：周浩，清华大学智能产业研究院副研究员，周浩2017年博士毕业于南京大学，后加入字节跳动人工智能实验室工作，历任研究员，高级研究员和研究主管。他的研究方向是离散符号的结构化学习，主要的应用包括文本生成，AI辅助药物设计等，作为负责人他曾领导并从零搭建了字节跳动的文本生成中台和AI辅助药物设计两个方向的研发团队，团队相关的研发产品应用于全球20余个国家，用户规模超过10亿。他曾担任多个会议的审稿人或领域主席，多次在国内外的学术会议上做讲习班报告，在顶级会议包括ACL，EMNLP，NeurIPS，ICML和ICLR上发表论文60余篇。曾获南京大学优秀博士论文，中国人工智能学会2019优秀博士论文，ACL 2021最佳论文和中国计算机学会NLPCC青年新锐学者。

无监督机器翻译回顾与展望：王瑞

讲者：王瑞
题目：无监督机器翻译回顾与展望
时间：2022 年 10 月 28 日 14:00-15:30
摘要：机器翻译是自然语言处理和人工智能的一个经典任务。近年来，随着计算资源逐渐丰富，机器翻译得到了飞速的发展，在少数语言对上甚至达到了与人工翻译相近的性能。但是，大多数语言之间的平行语料是稀缺的，为了解决这个问题，基于单语语料库的无监督机器翻译开始进入了大家的视野。本次报告将先介绍无监督机器翻译的背景和最新进展。之后，我们将探讨无监督机器翻译面临的一些挑战以及对未来发展方向的展望。
简介：王瑞，上海交通大学计算机系副教授、博士生导师，此前在日本国立情报通信研究机构（NICT）担任长聘研究员，研究方向是机器翻译。他在ACL, EMNLP, ICLR, AAAI, IJCAI, TPAMI, TASLP等国际权威会议和期刊发表论文60余篇，在EACL和 EMNLP上开设了机器翻译前沿讲习班。他主持了国家自然科学基金面上项目、日本国家青年基金、上海领军人才（海外）和上海市浦江人才计划。他担任了国际权威会议NeuRIPS/ICLR/NAACL的机器翻译领域主席，领导的团队在国际权威机器翻译测评WMT中获得多次第一名。其相关技术被广泛应用在东京奥运会官方机器翻译软件VoiceTra上，累计下载超过700万次。

多模态预训练模型研究进展回顾与展望：刘静

讲者：刘静
题目：多模态预训练模型研究进展回顾与展望
时间：2022 年 10 月 28 日 15:30-17:00
摘要：近年来，从预训练模型到预训练大模型，从文本、音频、视觉等单模态大模型，到现在的图文、图文音等多模态预训练大模型，无论在学术界还是企业界预训练模型都得到了广泛关注与爆发式发展。多模态预训练通过联合图文音等多模态内容进行模型学习，其发展在多模态理解、搜索、推荐、问答，语音识别与合成，人机交互等应用领域中具有潜力巨大的市场价值。本报告主要包含三方面内容：分析多模态预训练模型的重要性与必要性；回顾当前多模态预训练的最新研究进展；多模态预训练模型未来研究展望。
简介：刘静，中科院自动化所研究员/博导，国家优青获得者。研究方向多模态分析与理解，紫东太初大模型。曾获图像图形学会科学技术二等奖。承担或参与多项国家自然科学基金项目、国家973、国家基金重大研究计划、国家重点研发等。已发表高水平学术论文150余篇，谷歌学术引用7700+次，SCI他引次数2000+次，其中有两篇被ESI列为Top 1% 高被引论文。在视觉计算相关领域的多项国际学术竞赛中荣获冠军十余项。