什么是数据挖掘,数据挖掘概念( 三 ) _云知道

这从另一个方面也说明了为什么沟通能力的重要，这些个完全不同的专业领域，想要有效有机地整合在一起进行数据挖掘项目实践，你说没有好的沟通能力行吗？数据挖掘能力只能在项目实践的熔炉中提升、升华，所以跟着项目学挖掘是最有效的捷径。国外学习挖掘的人都是一开始跟着老板做项目，刚开始不懂不要紧，越不懂越知道应该学什么，才能学得越快越有效果。
我不知道国内的数据挖掘学生是怎样学的，但是从网上的一些论坛看，很多都是纸上谈兵，这样很浪费时间，很没有效率。另外现在国内关于数据挖掘的概念都很混乱，很多BI只是局限在报表的展示和简单的统计分析，却也号称是数据挖掘；另一方面，国内真正规模化实施数据挖掘的行业是屈指可数（银行、保险公司、移动通讯），其他行业的应用就只能算是小规模的，比如很多大学都有些相关的挖掘课题、挖掘项目，但都比较分散，而且都是处于摸索阶段，但是我相信数据挖掘在中国一定是好的前景，因为这是历史发展的必然。
如何从概念上分清数据挖掘与数据分析？

通俗点说，数据分析是本科生，通过简单的统计来观察小数据，解决相对简单问题，比如用户年龄分布分析；而数据挖掘是研究生，通过机器学习算法建模，要深挖大数据背后的模式，来解决复杂问题，比如个性化推荐。方法论方面：一个是统计，一个是机器学习数据分析作用的多数是概率统计理工具，比如留存率的分析，大多数上是对历史数据的某个维度的展示。
而数据挖掘，背后的目标隐藏在大数据中，需要通过机器学习、深度学习理论去预测，比如挖掘用户的喜好，本质上是对用户未来行为的预测。工具层面：一个是excel，一个是代码数据分析，通过excel可以基本搞定，excel内置很多统计函数，顶多做个简单的线性回归分析。而数据挖掘，将要利用大数据、机器学习等用更专业的编程语言来实现，比如python调用sklearn或xgboost，来实现。
大数据、数据分析和数据挖掘的区别是什么？

对于很多人来讲，这几个概念经常分不清，我当初入门的时候也一样，只不过那时候没有大数据的概念，作为一个数据分析从业者，其实并不需要关注这些名字直接的本质区别，只要明白一件事，数据最终是为了决策服务。鉴于大家对此还是有些好奇，这里我大概说说我的理解，希望和各位有所交流，不足之处还望大家指正。先看看数据分析与数据挖掘的区别：首先要搞懂，什么是数据，什么是信息，这两者本质的区别就是数据是存在的，不用人脑，而信息是需要人脑进行处理，上面意思呢？比如你装修完了房子，打算开始买家具，那么第一件事就是用尺子量房屋各处的长度和宽度，这些都是可以主观的看到的，客观存在的，这就是数据，而信息则不同，例如你要去买沙发，你会说，我们放5米的沙发刚好，4米的有些短，看着不大气，6米的太大了，看着不美观，那这种就属于信息，是需要人们经过大脑去判断的，属于主观，判断的依据就是数据（客观存在）。
其次，数据分析是对客观存在的已知的数据，通过各类维度的分析，得出一个结论，例如我们发现用户注册量下降：可以从:区域上看，某区域的注册量下降了x%渠道方面，搜索引擎带来的注册了下降了X%年龄来看，20岁~30岁的注册量下降了X%等等，这样不同的业务类型去看过去一段时间发展的趋势来做结论判断。数据挖掘则更注重洞察数据本身的关系，从而获得一些非显型的结论，这是我们从数据分析中无法得到了，例如关联分析可以知道啤酒与尿布的关系、决策树可以知道你购买的概率、聚类分析可以知道你和谁类似，等等，重在从各个维度去发现数据之间的内在联系因此两者的目的不一样，数据分析是有明确的分析群体，就是对群体进行各个维度的拆、分、组合，来找到问题的所在，而数据发挖掘的目标群体是不确定的，需要我们更多是是从数据的内在联系上去分析，从而结合业务、用户、数据进行更多的洞察解读。