数据架构师是做什么的,大数据架构师

【数据架构师是做什么的,大数据架构师】如何快速的成长为一名优秀大数据架构师?

数据架构师是做什么的,大数据架构师


如何快速的成长为一名优秀大数据架构师?成为优秀的大数据架构师,没有捷径之说,要说快的话也就是在基础知识扎实的前提下,尽可能经历更多的练习和项目,学习尽可能多的相关知识 。绝大部分优秀的专业人员基本上都是在学习和项目中锻炼出来的 。大数据架构师职责:1、基于大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作 。
2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范 。3、作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作 。4、负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度 。5、负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长 。
从其职责就可以看出,大数据架构师不但要有技术,还要有一些管理及培训的能力 。从其技术来看,主要要涉及到:1、大数据常用的处理平台,比如:Spark、Flink、Hadoop;2、分布式存储,比如:HDFS;3、资源调度,比如:Yarn、Mesos;4、机器学习工具;5、数据分析/数据仓库,SQL类比如:Pig、Hive、kylin、Spark SQL、Impala、Phoenix、ELK等;6、消息队列,比如:Kafka、ZeroMQ、ActiveMQ、RabbitMQ等等;7、流失计算,比如:Store/JStorm、Spark Streaming等;8、日志收集,比如Scribble、Flume等;9、编程语言,比如:Java、Python、R、Ruby、Scalable等;10、数据分析挖掘,比如:MATLAB、SPSS、SAS等;11、数据可视化,比如:R、D3.js、Echarts、Excel等;12、机器学习基础及工具;13、算法等;云计算,比如云服务:Saas、Paas、IaaS、Openstack等,当然还有一些相关的知识 。
除了上述技术以外,在实际的工作中很多的大数架构师又要承担一部分项目管理的职能,以及培训新人指导新人的职能 。所以这个工作其实要求还是蛮高的,但就以上的技术问题要达到优秀的程度,从学习到实际工作经验,都是要花相当长的时间的 。但身处的环境不一样,经历的东西不一样,成长的速度就不一样 。在一个高强度满负荷的工作环境中,实战经验比较足,如果再加上自己主动把基础知识搞扎实,成长速度就很惊人 。
从事大数据与人工智能行业,一定要数学好吗?为什么?
数据架构师是做什么的,大数据架构师


谢谢邀请!我的研究方向是大数据和人工智能,目前我也在做大数据和人工智能方面的落地项目,所以我来回答一下这个问题 。为了描述数学和大数据以及人工智能之间的关系,我们首先来简单的描述一下大数据和人工智能的研究内容以及工作岗位 。大数据的研究内容紧紧围绕数据展开,大数据产业链涵盖了数据的采集、整理、传输、存储、安全、分析和呈现 。
大数据的核心是数据价值化,数据价值化要通过数据分析来完成,数据分析的核心则是算法的设计与实现 。所以做大数据一个核心的内容就是算法设计,但是大数据岗位并不是只有算法设计一个岗位,还包括数据采集、数据整理、数据呈现等多个岗位,这些岗位对数学的要求并不高,甚至是没什么要求 。所以,如果数学基础比较薄弱,那么可以做非算法岗位,这些岗位同样是大数据产业链中不可或缺的 。

推荐阅读