数据挖掘与机器学习,机器学习与数据挖掘( 二 )


还有一些机器学习库,比如Numpy,使用Python进行科学计算的扩展包;scikit-learn,一个开源的Python机器学习库,集成了很多机器学习算法等等 。一些机器学习/深度学习框架工具,包括Tensorflow、Caffe、Pytorch、Keras、CNTK、MXNET、Theano在内的十几种深度学习框架,最常用的、用的最多的是Tensorflow和Caffe 。
数据挖掘/机器学习类专业还有就业前景吗?

数据挖掘与机器学习,机器学习与数据挖掘


肯定有,数据挖掘和机器学习和大数据一样,在未来很长一段时间内都不会过时 。企业有数据,数据要处理入库,入库了之后,想要产生价值,就要对它进行分析建模,每天的用户访问量,留存量,用户的流失预测,用户的产品推荐,用户的标签属性,客户营销等等等等,都是需要数据挖掘和机器学习来进行分析,只要,企业需要这些报表进行数据分析,它们就不会过时 。
做机器学习、数据挖掘、数据分析的工作不好吗?
前几年,互联网圈子里认为三大革命性技术是大数据、云计算、人工智能 。经过五六年的发展,我们发现真正的革命性技术是:人工智能、区块链、物联网 。这三个技术紧密结合会产生非常多的应用,几乎可以替代当前的所有人类生产活动 。机器学习是人工智能的子课题,数据挖掘与分析又与机器学习有非常紧密的结合 。不同之处在于机器学习目标是使计算机具备人类某方面重复性技能,数据挖掘侧重从大量数据中发掘对生产有利的规则,数据分析侧重于对数据的高度概括和展示 。
实际上挖掘和分析基本分不开 。最后回答你的问题,这样的工作当然很好了 。单是薪酬就很诱人 。再者,这是一项总在探索未知的工作,如果你喜欢挑战一切为什么,这个工作是非常棒的 。再说一下机器学习,更是好玩有趣的工作,想想你可以深度网络编一个和自己对话的机器人;或者编写一个智能爬虫,整天在网上找自己感兴趣的新闻,真正做自己的头条;或者研发一个自动交易机器,去股市里套利...玩法太多 。
人工智能这么火,数据挖掘和机器学习有什么区别?
工作后,我首先知道的概念是数据挖掘,而不是机器学习 。因此我想数据挖掘这个概念更加广泛,属于工程应用范畴 。5年前,我单位谈的都是数据挖掘,也举办这类竞赛,我们也掌握了数据挖掘的应用软件和数据挖掘标准流程,比如sas,clementine等数据挖掘平台 。这些平台多数基于图形化操作,应用门槛较低 。最近两年才开始谈机器学习,深度学习和人工智能等概念 。
从我工作经历来讲,数据挖掘是比较大众化的说法,单位业务部门都知道这个概念,而机器学习属于专业化的说法,现在业务部门还不清楚机器学习究竟是什么 。其实很难严格去区分两者的关系,看看最权威的数据挖掘和机器学习的教材,你会发现它们大部分都是重复的 。既然是两个名称,那么它们的侧重点应该是不一样的 。我的理解是数据挖掘的后端与机器学习的前端重复,机器学习的后端与深度学习的前端重复 。
数据挖掘的前端是数据收集,清洗和处理等,和大数据有关,都涉及数据仓库等内容,但机器学习并不关心这些,也就是说数据这种原材料对机器学习来说应该要事先准备好了,机器学习更加注重学习问题,努力像人类一样学习知识,理解世界 。它们最大的区别是:数据挖掘注重挖掘数据中的规律和知识,但不关心数据为什么会产生这些规律和知识,也就说你只看到表象,并不知道本质原因 。
而机器学习恰恰相反,机器学习更加注重学习数据的生成机制,即数据究竟由什么概率模型生成的 。有时机器学习也叫统计学习就是这个原因 。数据的生成机制出来了,那么数据中的规律自然而然就知道了 。正是因为机器学习注重数据的生成机制学习,产生大量的研究内容,发展出核机器,极大似然估计,最大熵模型,最大后验估计,期望最大化算法,高斯过程,概率图模型,变分推理等工具 。

推荐阅读