学术报告一

报告题目：机器学习的数学技术

报告人：孟德宇 教授 (西安交通大学)

负责人：王建军 教授

报告时间：2024年5月8日（星期三）15:30

报告地点：数学大楼912报告厅

参加人员：本科生、研究生、教师

报告摘要： 以深度学习/大模型为代表的机器学习方法与技术为当今科技领域的研究焦点。然而，相比技术水平的迅猛提升，机器学习基础理论研究进展远远滞后，大量技术经验发现无法找到理论支撑，以科学性为前提的学科大厦面临危局。重建机器学习理论体系已成为当今重大科技前沿问题。针对这一挑战，本报告将以深度学习三大技术实验现象（任务泛化能力、智能涌现现象、鲁棒-精确悖论）理论内涵作为分析对象，介绍未来机器学习理论可能发展的新型学习、统计与物理理论新框架，以及本研究组分别针对通信、生命、医疗技术领域的场景动态适应、生命智能涌现、智能可靠诊疗三大技术问题的机器学习数学技术方面的初步探索。

报告人简介：孟德宇，西安交通大学数学与统计学院教授，任统计系主任，大数据分析与计算分析工程实验室常务副主任。长期致力于机器学习基础理论的研究，近五年来，在机器学习相关领域期刊会议发表论文百余篇，近五年谷歌学术引用超过24000次。曾获陕西省科学技术一等奖(第一获奖人)，陕西省青年科技奖，入选国家级人才计划、国家级青年人才计划。以项目负责人身份承担科技部“变革性关键科学问题”重点专项项目，承担多项教育部、基金委、JWKJW项目。现任中国工业与应用数学学会副理事长，CSIAM青年工作委员会主任，任IEEE Trans. PAMI，National Science Review，Science China: Information Sciences等7个国内外期刊编委。

学术报告二

报告题目：发现学习的演变规律：基于时序监督的知识蒸馏

报告人：韩志 教授 (中国科学院)

负责人：王建军 教授

报告时间：2024年5月8日（星期三）16:30

报告地点：数学大楼912报告厅

参加人员：本科生、研究生、教师

报告摘要： 随着基于深度学习乃至大模型的人工智能方法的兴起，人工智能的实现手段从原来通过人工先验进行数学建模的方法转为依赖大数据从中挖掘知识规律的实现思路。为了极致追求模型的准确率与泛化性能，网络变得越来越深、参数量变得越来越大、需要的训练数据变得越来越海量，导致模型的训练难度不断攀升，于是将大模型中蕴含的知识蒸馏到小模型中，是提高训练效率、提升泛化性的有效手段。然而现有的学习与知识蒸馏的方法很少考虑学习过程中的模型演变规律，没有在网络的训练中加入时间维度上的监督引导，浪费了前序学习过程中蕴含的经验知识为后序学习效率带来提升的可能性。因此，本报告通过分析神经网络在学习中的变化规律，发现网络训练存在的时序性特征，并利用该特征，提出基于时序监督的知识蒸馏方法，从而实现知识蒸馏效果和效率的提升，为深度网络高效训练提供新的思路。

报告人简介：韩志，中国科学院沈阳自动化研究所研究员，博导，任机器人学研究室副主任。研究方向为机器人视觉与人工智能，在T-PAMI、IJCV等期刊、CVPR、ICCV等国际会议上发表论文70余篇。入选国家级青年人才、中科院青促会优秀会员、辽宁青年科技奖“十大英才”