Deep Over-parameterized Smoothing Quantile Regression深度过参数化平滑分位数回归

光华讲坛——社会名流与企业家论坛第6721期

主 题：Deep Over-parameterized Smoothing Quantile Regression深度过参数化平滑分位数回归

主讲人：上海财经大学 冯兴东教授

主持人：统计学院 林华珍教授

时间：1月22日 13:00-14:00

举办地点：柳林校区弘远楼408会议室

主办单位：统计研究中心和统计学院 科研处

主讲人简介：

冯兴东，博士毕业于美国伊利诺伊大学香槟分校，现任上海财经大学统计与管理学院院长、统计学教授、博士生导师。研究领域为数据降维、稳健方法、分位数回归以及在经济问题中的应用、大数据统计计算、强化学习等，在国际顶级统计学/计量经济学期刊JASA、AoS、JRSSB、Biometrika、JoE以及人工智能期刊/顶会JMLR、NeurIPS上发表论文多篇。2018年入选国际统计学会推选会员(Elected member)，2019年担任全国青年统计学家协会副会长以及全国统计教材编审委员会第七届委员会专业委员（数据科学与大数据应用组），2020年担任第八届国务院学科评议组（统计学）成员，2022年担任全国应用统计专业硕士教指委委员，2023年担任全国工业统计学教学研究会副会长以及中国数学会概率统计分会常务理事，2022年起兼任国际统计学权威期刊Annals of Applied Statistics和Statistica Sinica编委（Associate Editor）以及国内统计学权威期刊《统计研究》编委。

内容简介：

In this work, we provide a rigorous statistical guarantee (oracle inequalities) for deep nonparametric smoothing quantile regression utilizing over-parameterized ReLU neural networks. Taking into account the weight norm control of neural networks, we derive these oracle inequalities by balancing the trade-off between the approximation and statistical (generalization) errors. We establish a novel result regarding the approximation capabilities of over-parameterized ReLU neural networks for Hölder functions. Furthermore, we demonstrate the attainment of a statistical error that is independent of the network size, which is a notable advantage. Importantly, our findings indicate that the curse of dimensionality can be effectively mitigated if data are supported on a low-dimensional Riemannian Manifold.

在这项工作中，主讲人利用超参数化ReLU神经网络为深度非参数平滑分位数回归提供了严格的统计保证(oracle不等式)。考虑到神经网络的权范数控制，主讲人通过平衡近似误差和统计(泛化)误差来推导这些oracle不等式，并就过参数化ReLU神经网络对Hölder函数的逼近能力建立了一个新的结果。此外，主讲人成果的其中一个显著优势是证明了统计误差的实现与网络规模无关。重要的是，研究结果表明，如果在低维黎曼流形上得到支持数据，可以有效地减轻维数灾难。