大模型前沿技术报告系列直播课是由中国中文信息学会计算语言学专业委员会主办,并行科技承办的系列公益直播课,旨在分享大模型技术前沿学术成果和普及大模型算力应用,面向相关领域的科研工作者和高校师生展开。
大模型前沿技术报告系列直播课固定播出档期为每月第三周周四19:00。每期邀请一位大模型领域的知名专家学者,进行约一小时的学术报告分享。直播课的播出平台为:视频号【并行科技】、B站【并行科技】、B站【CIPS计算语言学专委会】。欢迎观看与交流。

特邀讲者
孔令鹏是香港大学计算机科学系助理教授。2017-2020年间,他在谷歌DeepMind担任(高级)研究科学家。他在卡内基梅隆大学计算机科学学院获得博士学位。他的研究位于自然语言处理(NLP)和机器学习(ML)的交叉领域,专注于生成模型和模型架构的基础研究。他曾担任顶级NLP和ML会议如ICLR、NeurIPS、ICML、EMNLP的(Senior) Area Chairs。他还担任TMLR和ACL ARR的Action Editors。他的研究成果曾获得ACL和EACL会议的优秀论文奖,也多次被选为ICLR, NeurIPS的口头报告。
直播摘要
本报告探讨自回归大语言模型(LLMs)的替代方案,特别关注离散扩散模型。报告涵盖了非自回归方法在文本生成、推理和规划任务方面的最新进展。讨论的关键发展包括重参数化离散扩散模型(RDMs),以及离散扩散在复杂推理任务如数独和象棋中的应用。报告还研究了序列到序列文本扩散模型,以及用于思维链推理的新型思想扩散(DoTs)框架。这些非自回归方法展示了具有竞争力的性能,同时相比传统自回归模型,在并行处理和灵活生成模式方面提供新的可能。
B站观看直播请移步搜索“CIPS计算语言学专委会” B站官方号。
