abcd游戏怎么玩黑魔法猜东西游戏原理( 五 ) _云知道

在训练过程中，

的动力学分别为：

由此可以看到尺度分离的现象：当m很大的时候，

的动力学几乎被冻结住。
这种情形下，好消息是我们有了指数收敛（Du et al, 2018）；坏消息却是这时候，神经网络表现得并不比从random feature model模型好。
我们也可以从平均场的角度理解梯度下降方法。令：

，并令：

则

是下列梯度下降问题的解：

当且仅当

是下面方程的解（参考：Chizat and Bach (2018), Mei, Montanari and Nguyen (2018), Rotsko? and Vanden-Eijnden (2018), Sirignano and Spiliopoulos (2018)）：

这一平均场动力学，实际上是在Wassenstein度量意义下的梯度动力学。人们证明了：如果其初始值

的支集为全空间，且梯度下降的确收敛，那么其收敛结果必然是全局最优（参考：Chizat and Bach (2018,2020), Wojtowytsch (2020)）。
机器学习的应用
3.1 解决高维科学计算问题
既然机器学习是处理高维问题的有效工具，我们便可运用机器学习解决传统计算数学方法难以处理的问题。
第一个例子便是随机控制问题。传统方法求解随机控制问题需要求解一个极其高维的Bellman方程。运用机器学习方法，可以有效求解随机控制问题。其思路与残差神经网络颇为类似（参考Jiequn Han and E (2016)）：

第二个例子便是求解非线性抛物方程。非线性抛物方程可以被改写成一个随机控制问题，其极小点是唯一的，对应着非线性抛物方程的解。

3.2 AI for science
利用机器学习处理高维问题的能力，我们可以解决更多科学上的难题。这里我们举两个例子。第一个例子是Alphafold 。

参考：J. Jumper et al. (2021)

第二个例子，便是我们自己的工作：深度势能分子动力学(DeePMD) 。这是能达到从头计算精度的分子动力学。我们所使用的新的模拟“范式”便是：
?
利用量子力学第一性原理计算提供数据；
?
利用神经网络，给出势能面准确的拟合（参考：Behler and Parrinello (2007), Jiequn Han et al (2017), Linfeng Zhang et al (2018)）。
运用DeePMD，我们能够模拟一系列材料和分子，可以达到第一性层面的计算精度：