讲习班

预训练语言模型中的知识分析、萃取与增强：陈玉博

讲者：陈玉博
题目：预训练语言模型中的知识分析、萃取与增强
时间：2023 年 8 月 3 日 09:00-10:30
摘要：近年来，大规模预训练语言模型在知识密集型的自然语言处理任务上取得了令人瞩目的进步。这似乎表明，预训练语言模型能够自发地从语料中学习大量知识，并隐式地保存在参数之中。然而，这一现象的背后机理仍然萦绕着许多谜团。语言模型究竟掌握了哪些知识，如何提取和利用这些知识，如何用外部知识弥补模型不足，这些问题都亟待进一步探索。该报告将重点介绍预训练语言模型知识分析、知识萃取、知识增强等领域的基础知识和近期研究进展。
简介：陈玉博，中科院自动化所副研究员，研究方向为自然语言处理和知识图谱，在ACL、EMNLP、AAAI 等国际重要会议和期刊发表学术论文40 余篇，Google Scholar引用量4300余次，其中两篇论文入选ACL、EMNLP高影响力论文（Paper Digest评选），曾获多次最佳论文奖（NLP-NABD 2016、CCKS 2017、CCL 2020、CCKS 2020）。出版学术专著两部《知识图谱》、《知识图谱：算法与实践》，由人工智能学会推荐入选十三五国家重点图书出版规划教材。连续多年在中国科学院大学主讲《知识图谱》课程，2021 年获得中国科学院大学优秀课程。主持国家自然科学基金面上项目、青年基金项目，参与国家自然科学基金重点项目、2030新一代人工智能重大项目、重点研发计划课题。主持研发的信息抽取和知识图谱构建系统多次获得国际/国内学术评测冠亚军。入选2020 年第五届中国科协青年人才托举工程、2022 年全球华人AI 青年学者、2022 年中国科学院青年创新促进会会员、2022北京智源人工智能青年科学家俱乐部，担任中国中文信息学会青年工作委员会秘书长、COLING 2022领域主席、Data Intelligence编委等。获2018 年中国中文信息学会“钱伟长中文信息处理科学技术奖”一等奖，2019 年度北京市科学技术进步奖一等奖。

大模型安全伦理：桂韬

讲者：桂韬
题目：大模型安全伦理
时间：2023 年 8 月 3 日 10:30-12:00
摘要：随着基础模型的兴起，NLP正在经历模型范式“同质化”的转变，如今，NLP领域几乎所有的SOTA模型都是少数几个基于Transformer 的大模型进化而来。而且，这种趋势正在向图像、语音、蛋白质序列预测、强化学习等多个领域蔓延。整个 AI 社区似乎出现了一种大一统的趋势。这种同质化也带来了一些隐患，因为基础模型的鲁棒性、可解释性、公平性、隐私性缺陷也会被所有下游模型所继承。本报告将介绍基础模型的安全伦理风险以及带来的社会影响，探讨缓解安全伦理问题的可行方案。
简介：桂韬，复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表了40余篇论文，主持国家自然科学基金、计算机学会、人工智能学会多个基金项目。曾获钱伟长中文信息处理科学技术奖一等奖（2/5）、中国中文信息学会优秀博士论文奖、COLING2018最佳论文提名奖、NLPCC2019亮点论文奖，入选第七届“中国科协青年人才托举工程”、上海市启明星计划。

利用语音语言处理模型研究大脑的语言认知机制：张超

讲者：张超
题目：利用语音语言处理模型研究大脑的语言认知机制
时间：2023 年 8 月 3 日 14:00-15:30
摘要：能够进行复杂的口语交流是人类区别于其他动物的一种决定性能力，但与语言认知相关的核心神经机制仍不清楚。一种研究方法是将大脑与具有一定语言认知功能的计算模型联系起来。本教程旨在介绍这类研究工作，尤其是将人类受试者在听语音时的神经影像数据，与语言模型和自动语音识别器的输出进行定量关联的工作。内容包括脑机接口和生理学基础知识、常用数据处理和模式分析技术、以及代表性的研究工作和相关的发现和结论。最后，讨论相关工作面临的主要限制和技术困难，以及大脑机制研究和类脑人工智能之间的关系，为今后的研究工作提供参考。
简介：张超，清华大学电子工程系助理教授、博士生导师。在伦敦大学学院脑科学部兼任荣誉教职并领导相关计算认知神经科学研究组。于2009和2012年于清华大学计算机系获得本科和硕士学位，2017年在剑桥大学工程系获博士学位。是著名语音识别工具HTK的共同作者之一。多次在DARPA、iARPA等机构资助的国际重大语音语言处理项目评测中夺冠。博士毕业后曾任剑桥大学副研究员和客座研究员、京东AI顾问和语音组联合负责人、Google公司高级研究科学家等职务。在语音和语言处理领域发表了80篇同行评议的论文，在IEEE ICASSP 2014、IEEE ASRU 2019、IEEE SLT 2021和Interspeech 2022等语音领域权威会议上获最佳学生论文奖。他还担任IEEE语音和语言处理技术专委会副委员、中国计算机学会语音对话与听觉专委会委员、中国中文信息学会语音信息专委会副秘书长等职务。

基础模型用于机器人领域的最佳学术实践：赵昊

讲者：赵昊
题目：基础模型用于机器人领域的最佳学术实践
时间：2023 年 8 月 3 日 15:30-17:00
摘要：基础模型已经深刻地改变了自然语言处理领域，同时为机器人领域的研究也带来了许多前所未有的可能性。具体而言，基础模型带来的关键性变量包括基于自然语言的人机交互范式以及认知推理能力，后者可以帮助机器人理解高层次的人类指令。在本教程中，赵昊博士将介绍基础模型和机器人交叉研究前沿的数项突破，并重点介绍这基础模型在两个方面的最佳学术实践，包括但不限于测试基准、算法模型和系统部署等方面。
简介：赵昊，清华大学智能产业研究院助理教授，于清华大学电子工程系获得学士和博士学位，曾于英特尔中国研究院担任研究员，曾在北京大学从事博士后研究。他曾任清华大学天空工场理事长，天空工场是清华大学最大的机器人社团。他的主要研究兴趣是与机器人相关的计算机视觉领域，尤其是三维场景理解。他是一名连续创业者，2009年以来共同创办了10多家初创公司。他在CVPR / ICCV / ECCV / NeurIPS / ICLR / ICRA / IROS等顶级学术会议以及IJCV / CVIU / ISPRS / T-IP / T-MM / CIBM / RA-L等顶级学术期刊上发表了30余篇研究论文，并赢得过多项三维场景理解算法挑战赛的冠军。