学术报告

报告题目：Emergent Short-range Memory in Stochastic Gradient Noise and Its Implications on Generalization

报告人：张讲社 教授（西安交通大学）

负责人：王建军

报告时间：2024年1月10日（星期三）上午 10：00

报告地点：数学大楼914报告厅   

参加人员：研究生、教师

报告摘要：Investigating stochastic gradient descent (SGD) from the perspective of stochastic differential equations (SDEs) is quite popular in the deep learning community. In this talk, I will present an analytical result on modeling SGD with SDEs driven by fractional Brownian motion, which reveals the escaping efficiency when trapped in local minima. From the optimization point of view, I will further show how we can relate the smoothness of the optimization pathway to the generalization.

报告人简介：张讲社，西安交通大学数学与统计学院统计系二级教授，主要从事统计数据处理、统计决策和机器学习等方面的研究。曾任西安交大理学院常务副院长，陕西省数学会会长，曾获2007年国家自然科学二等奖、2006年教育部自然科学一等奖。现为陕西省数学会属下统计学学会理事长，西安数学技术研究院副院长，教育部统计类专业教学指导委员，国家自然科学基金委天元数学西北数学中心学术委员会委员。