数据湖对比分析,大数据平台 _分析

大数据平台开发大数据平台工程师开发主要关注提供大数据基础设施和工具。再来说说大数据平台的软件或者工具：1、数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台公司。什么时候需要大数据平台？简单的说就是当数据总量大到传统单机数据解决方面没办法存储，分析，计算时就要用到大数据平台。
大数据平台的软件有哪些？

这个要分好几块来讲，首先我要说明的是大数据项目也是要有很多依赖的模块的。每个模块的软件不一样，下面分别聊一下。一、大数据处理这个是所谓大数据项目中最先想到的模块。主要有spark ， hadoop ， es ， kafka ， hbase ， hive等。当然像是flume ， sqoop也都很常用。这些软件主要是为了解决海量数据处理的问题。
软件很多，我只列几个经典的，具体可以自行百度。二、机器学习相关大部分大数据项目都和机器学习相关。因此会考虑到机器学习的一些软件，比如说sklearn ， spark的ml ，当然还有自己实现的代码。三、web相关技术大部分项目也都跑不了一个web的展示，因此web就很重要的， java的ssh ， python的django都可以，这个看具体的项目组习惯了。
四、其它还有一些很常用的东西，个人感觉不完全算是大数据特定使用范围。反正我在做大数据项目的时候也都用到了。比如说数据存储：redis ， mysql 。数据可视化：echart ， d3js 。图数据库：neo4j 。再来说说大数据平台的软件或者工具：1、数据库，大数据平台类，星环，做Hadoop生态系列的大数据平台公司。
Hadoop是开源的，星环主要做的是把Hadoop不稳定的部分优化，功能细化，为企业提供Hadoop大数据引擎及数据库工具。2、大数据存储硬件类，浪潮，很老牌的IT公司，国资委控股，研究大数据方面的存储，在国内比较领先。3、云计算，云端大数据类，阿里巴巴，明星产品-阿里云，与亚马逊AWS抗衡，做公有云、私有云、混合云。
实力不差，符合阿里巴巴的气质，很有野心。4、数据应用方面这个有很多，比如帆软旗下的FineReport报表系统和FineBI大数据分析平台等。帆软是商业智能和数据分析平台提供商，从报表工具到商业智能，有十多年的数据应用的底子，在这个领域很成熟，目前处于快速成长期，但是很低调，是一家有技术有实力而且对客户很真诚的公司。
【数据湖对比分析,大数据平台】有哪些好的数据来源或者大数据平台？

花了两天时间，整理如下40 个平台，多数免费即可获取数据。官方发布数据（多立足社会民生）1、国家数据——主要用户：社会情况研究人员国家统计局开设网站，公布我国各个领域的宏观经济情况，权威度高2、国家统计局——主要用户：社会情况研究人员链接各省市地区的统计网站，提供更多官方统计报告3、中国裁判文书网——主要用户：法律从业/学习/爱好者中国最高人民法院开设，权威可信，可用于查询国内裁判文书，可作数据统计来源4、中国互联网信息研究中心——主要用户：互联网研究人员经国家主管部门批准组建的管理和服务机构，经常发布一些有价值的互联网信息报告5、中国信通院——主要用户：互联网研究人员针对互联网多个行业的发展趋势，发布白皮书，角度较为宏观6、国土资源部——主要用户：相关研究人员国土资源部对外公开的信息报告，内容权威7、中国气象局——主要用户：气象相关研究人员中国气象局对外公开的年度报告，支持下载查看网络趋势分析1、5118 / chinaz——主要用户：SEO专员支持查询网站排名及发展趋势、百度收录情况等信息2、艾瑞指数——主要用户：互联网从业者艾瑞旗下/包括移动APP指数、PC Web指数、影视指数、广告指数、移动设备指数五类指数查询工具。