云南龙网

  1. 首页 > 云知道 > >

什么是大数据史上最全大数据理论解析 什么是大数据什么是大数据技术

方向小知识

不谈论大数据，把诗都看完也没用 。在大数据、云计算、移动互联网、物联网、人工智能大行其道的当下，大街小巷最常听到的名词就是大数据，但你真的了解大数据吗？大数据到底是什么？如果此时你脑海中只有一个答案，请耐心看完这篇文章 。我会用一张技能图谱，两个基本条件，三个工作方向，四个基本特征，五个里程碑，六个工作环节，以及大数据时代需要的思维方式，让你在别人面前谈大数据 。
大数据技能图谱

什么是大数据史上最全大数据理论解析 什么是大数据什么是大数据技术


两个基础条件从网购到娱乐，从推荐系统到短视频，大数据系统影响着我们生活的方方面面 。大数据系统的广泛应用主要得益于以下两个方面 。
(1)底层硬件支持
这方面我想80后/90后会有特别深刻的感受 。对比十年前我们的电脑和手机的性能、网络带宽和流量，近年来存储设备、计算性能和网络带宽都在飞速发展，为大数据的运算处理和大数据集群的构建提供了强有力的硬件支持 。
(2)数据生产模式
随着互联网、手机、电脑等设备的普及，越来越多的人成为了内容生产者，也就是我们现在所说的自媒体 。微信微信官方账号、今日头条，以及如今处于鼎盛时期的Tik Tok和Aauto Quicker，都是依靠人自发的制作和上传内容 。在这些平台上，每天发布的内容量要以千万甚至十亿计算 。除了这些主观形式的数据生成，我们生活中还有很多被动形式的数据生成:比如交通路口的摄像头，各种人脸识别，打卡系统等 。这些数据的产生是无止境的，所以每天都会产生和存储大量的数据 。
三个就业方向(1)大数据架构的方向
大数据架构方向涉及到一些偏向大数据底层和大数据工具的工作 。这个方向的工作更注重:
Hadoop、Spark、Flink等大数据框架的实现原理、部署、优化、稳定性；
【什么是大数据史上最全大数据理论解析 什么是大数据什么是大数据技术】【/h/】对架构集成、数据流、数据存储有深刻理解，并能流畅应用；
熟悉如何结合各种相关工具实现更高的效率，更符合公司整体的业务场景 。
想往这个方向努力，需要具备以下技能 。
大数据框架:Hadoop、Spark、Flink、高可用、高并发、并行计算等 。
数据存储:Hive、HDFS、Cassandra、ClickHouse、Redis、MySQL、MongoDB等 。
数据流:Kafka，RocketMQ，Flume等 。
(2)大数据分析的方向
这里说的大数据分析方向是广义的大数据分析 。这个方向包括各种算法工程师和数据分析师 。他们一方面要精通我们公司的业务，另一方面要有很好的数学知识，能够利用数据建立有针对性的数据指标，对数据进行统计分析，通过各种数据挖掘算法探索数据之间的规律，对业务进行预测和判断 。
想往这个方向努力，需要具备以下技能 。
数据分析:ETL、SQL、Python、统计学、概率论等 。
数据挖掘:算法、机器学习、深度学习、聚类、分类、协同过滤等 。
(3)大数据的发展方向
大数据开发是大数据在公司内得以打通和实施的桥梁和纽带 。爬虫系统、服务器端开发、数据库开发、可视化平台建设等数据处理环节都离不开大数据开发 。大数据开发需要两种能力:
了解如何使用大数据的各种工具；
需要良好的编码技能 。
这个方向你需要具备这些技术:数据仓库、推荐引擎、Java、Go、爬虫、实时、分布式等等 。
当然，除了以上三大方向，整个互联网大数据体系还有很多细分方向，甚至每个关键词都可以认为是一个方向 。随着大数据的发展，我认为未来会有越来越多的工作等着我们 。

推荐阅读


上一篇：粥底火锅用什么蘸料好吃 粥底火锅有什么特色

下一篇：箫剑为什么偏执