T3: 机器学习理论——回顾与展望


讲者:王立威(北京大学)


摘要:衡量机器学习算法性能最重要的指标是其泛化能力。泛化理论也是机器学习作为一个独立的学科,区别其它学术领域的核心理论。 本次报告中,我将介绍机器学习中关于泛化能力的几个重要理论。首先介绍VC理论,该理论刻画了经验风险最小化算法的泛化能力。对于SVM和Boosting这类学习算法,margin理论描述了confidence与泛化的关系。我还将介绍algorithmic stability理论,这一理论说明所有具备训练稳定性的学习算法必然具有很好的泛化能力。 最后,我将对当前深度学习算法进行讨论。包括深度网络的损失函数性质、随机梯度算法的鞍点逃逸。并探讨深度学习对于经典泛化理论带来的挑战,以及未来理论的发展方向。


个人简介: 王立威 北京大学信息科学技术学院教授。清华大学交叉信息研究院客座教授。主要从事机器学习理论研究。 在机器学习国际权威期刊会议发表高水平论文100余篇。多次担任国际机器学习旗舰会议NIPS领域主席;担任机器学习顶级期刊IEEE TPAMI编委。 2011年入选由人工智能国际期刊IEEE Intelligence Systems评选的AI’s 10 to Watch,是该奖项自设立以来首位获此荣誉的中国学者。 2012年获得首届国家自然科学基金优秀青年基金。带领团队获得包括首届天池AI医疗大赛决赛在内的多项比赛冠军。