数据etl,大数据之ETL设计详解

为什么建数据仓库需要使用ETL工具?

数据etl,大数据之ETL设计详解


【数据etl,大数据之ETL设计详解】数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合 。它是单个数据存储,出于分析性报告和决策支持目的而创建 。既然要获取全部数据,必然涉及到多系统,各类型数据库的对接问题,还有数据抽取、整理的问题 。这时候ETL工具的作用就集中体现出来了,数据的抽取、转换、加载直到供人们去分析使用,ETL就是数据抽取、转换、加载的过程 。
有些地方可能选择的是ELT,先加载在转换 。对数仓来说,ETL首先要考虑业务需求,最后数据落地模型,要体现某种主题 。然后从数据源考虑哪些字段是可以用的,在进行ETL 。现在ETL工具很多,所以编程能力很难在这方面体现出来,对于公司来说,更看重的是ETL的思路 。通俗的想,数据仓库就像大水池,给水池蓄水需要泵和水管,那ETL就是承担泵和水管的功能 。

    推荐阅读