为
的分布 。那么我们的目标便是：最小化测试误差
(testing error，也称为population risk或generalization error)：
2.2 监督学习的误差
监督学习一般有如下的步骤：
?
第一步：选取一个假设空间（测试函数的一个集合）
（m正比于测试空间的维数）；
?
第二步：选取一个损失函数进行优化 。通常，我们会选择经验误差(empirical risk)来拟合数据：
有时 ， 我们还会加上其他的惩罚项 。
?
第三步：求解优化问题 ， 如：
· 梯度下降：
· 随机梯度下降：
是从1,…n中随机选取的 。
如果把机器学习输出的结果记
， 那么总误差便是
。我们再定义：
?
是在假设空间里最好的逼近；
?
是在假设空间里 ， 基于数据集S最好的逼近 。
由此，我们便可以把误差分解成三部分：
?
是逼近误差(approximation error)：完全由假设空间的选取所决定；
?
是估计误差(estimation error)：由于数据集大小有限而带来的额外的误差；
?
是优化误差(optimization error)：由训练（优化）带来的额外的误差 。
2.3 逼近误差
我们下面集中讨论逼近误差(approximation error) 。
我们先用传统方法傅立叶变换做一个对比：
如果我们用离散的傅立叶变换来逼近：
其误差
便是正比于
，毫无疑问地受到维度灾难的影响 。
而如果一个函数可以表示成期望的形式：
令
是测度
的独立同分布样本，我们有：
推荐阅读
- 刑事犯罪找律师多少钱 犯罪后找律师怎么收费
- 大学生返乡社会实践注册后怎么报名参加
- 乐平市律师费一般怎么算，乐清律师收费标准
- 无锡春节免费景点怎么取消预约
- 海马s5有定速巡航吗 海马s5定速巡航怎么使用说明
- 如何制作长图 朋友圈长图片怎么制作
- 斯巴鲁有定速巡航吗 斯巴鲁有定速巡航吗怎么用
- 乐游无锡平台怎么预约春节免费景点2023
- 乐游无锡平台免费景点怎么看有没有预约成功
- 乐游无锡平台预约的春节免费景点怎么取消