非负矩阵分解,Cholesky分解( 四 )


这是一个稀疏表示的例子,一个线性代数的完整子域 。4. 线性回归线性回归是一种用于描述变量之间关系的统计学传统方法 。该方法通常用于机器学习,用于预测较简单的回归问题的数值 。描述和解决线性回归问题有很多种方法,即找到一组系数,用这些系数与每个输入变量相乘并将结果相加,得出最佳的输出变量预测 。如果您使用过机器学习工具或机器学习库,解决线性回归问题的最常用方法是通过最小二乘优化,这一方法是使用线性回归的矩阵分解方法解决的(例如 LU 分解,奇异值分解或 SVD) 。
即使是线性回归方程的常用总结方法也使用线性代数符号:y = A . b其中,y 是输出变量,A 是数据集,b 是模型系数 。5. 正则化在应用机器学习中,我们往往寻求最简单可行的模型来发挥解决我们问题的最佳技能 。较简单的模型通常更擅长从具体示例泛化到不可见数据 。在涉及系数的许多方法中,例如回归方法和人工神经网络,较简单的模型通常具有较小的系数值 。
一种常用于鼓励模型在数据拟合时尽量减小系数值的技术称为正则化 。常见应用包括正则化的 L2 和 L1 形式 。这两种正则化形式在实际中用来测量作为矢量的系数的大小或长度,是直接脱胎于名为矢量范数的线性代数方法 。6. 主成分分析通常,数据集有许多列,列数可能达到数十,数百,数千或更多 。对具有许多特征的数据进行建模具有一定的挑战性 。
而且,从包含不相关特征的数据构建的模型通常不如用最相关的数据训练的模型熟练 。我们很难知道数据的哪些特征是相关的,而哪些特征又不相关 。自动减少数据集列数的方法称为降维,也许最流行的方法是主成分分析法(简称 PCA) 。该方法用于机器学习,为可视化和模型的训练创建高维数据的投影 。PCA 方法的核心是线性代数的矩阵分解方法 。
可能会用到特征分解 。更可靠的实现可以使用奇异值分解或 SVD 。7.奇异值分解另一种流行的降维方法是奇异值分解方法,简称 SVD 。如上所述,正如该方法名称所示,它是源自线性代数领域的矩阵分解方法 。该方法在线性代数中有广泛的用途,可直接应用于特征选择、可视化、降噪等方面 。在机器学习中我们会看到以下两个使用 SVD 的情况 。
8. 潜在语义分析在用于处理称为自然语言处理的文本数据的机器学习的子领域中,通常将文档表示为词出现的大矩阵 。例如,矩阵的列可以是词汇表中的已知词,行可以是文本的句子、段落、页面或文档,矩阵中的单元格标记为单词出现的次数或频率 。这是文本的稀疏矩阵表示 。矩阵分解方法(如奇异值分解)可以应用于此稀疏矩阵,该分解方法可以提炼出矩阵表示中相关性最强的部分 。
以这种方式处理的文档比较容易用来比较、查询并作为监督机器学习模型的基础进行使用 。这种形式的数据准备称为潜在语义分析(简称 LSA),也称为潜在语义索引(LSI) 。9. 推荐系统涉及产品推荐的预测建模问题被称为推荐系统,这是机器学习的一个子领域 。例如,基于您在亚马逊上的购买记录和与您类似的客户的购买记录向您推荐书籍,或根据您或与您相似的用户在 Netflix 上的观看历史向您推荐电影或电视节目 。
推荐系统的开发主要涉及线性代数方法 。一个简单的例子就是使用欧式距离或点积之类的距离度量来计算稀疏顾客行为向量之间的相似度 。像奇异值分解这样的矩阵分解方法在推荐系统中被广泛使用,以提取项目和用户数据的有用部分,以备查询、检索及比较 。10. 深度学习人工神经网络是一种非线性机器学习算法,它受大脑中信息处理元素的启发,其有效性已经在一系列问题中得到验证,其中最重要的是预测建模 。

推荐阅读