为什么要建数据仓库,实时数据仓库如何做 _要建

“下一代数据仓库必须是一个融合的智能数据仓库。将这些技术应用到数据仓库本身的技术变革中，可以给很多行业带来变革。数据仓库将建立在云计算的基础上。首先，数据仓库是企业传统的数据管理方案。具有一定规模的企业可以通过建立数据仓库来解决一定的“数据孤岛”问题，可以更加合理地利用企业数据，同时可以通过数据仓库使多个系统互联互通。
为什么建数据仓库需要使用ETL工具？

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建，既然要获取全部数据，必然涉及到多系统，各类型数据库的对接问题，还有数据抽取、整理的问题。这时候ETL工具的作用就集中体现出来了，数据的抽取、转换、加载直到供人们去分析使用，ETL就是数据抽取、转换、加载的过程，
有些地方可能选择的是ELT，先加载在转换。对数仓来说，ETL首先要考虑业务需求，最后数据落地模型，要体现某种主题，然后从数据源考虑哪些字段是可以用的，在进行ETL 。现在ETL工具很多，所以编程能力很难在这方面体现出来，对于公司来说，更看重的是ETL的思路，通俗的想，数据仓库就像大水池，给水池蓄水需要泵和水管，那ETL就是承担泵和水管的功能。
实时数据仓库如何做？

3.1.1Lambda架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.2Kappa架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.3实时olap变体架构来自ApacheFlink中文学习网站ververica.cn侵权告知立删3.1.4常见架构对比来自ApacheFlink中文学习网站ververica.cn侵权告知立删ps:lambda架构开发割裂感：?表结构不同?sql语法不同资源浪费：?重复计算?重复存储集群维护：?组件不同?计算引擎不同数据一致性3.2实时数仓架构3.2.1方案一优点：?便于数据回溯、重算和数据质量验证，
缺点：?通过批处理重算，需要维护两套代码，开发和维护成本高。?需要两套计算资源适用场景：?超大规模历史数据计算，且这种场景比较频繁，?对数据质量要求极高，需要比对实时和离线的计算结果，甚至利用离线去修正实时的计算结果。3.2.2方案二优点：?无需维护两套代码，开发迭代速度快，?数据回溯和重算方便，重算时间根据需求回溯的时间范围定。
?只需流计算资源，资源占用小缺点：?ODS\\DWD部分数据“不可见”，原始数据和中间数据不便于查询（解决方案：可通过重新消费指定时间范围的数据查询，或导入需要的数据到olap引擎）?依赖业务端反馈问题（解决方案：设计数据质量监控指标，实时监控报警）适用场景：ODS\\DWD查询不频繁等3.2.3方案三相对于方案二：?增加ODS层落地hive，排查分析原始数据比较方便，恢复历史数据的时候可获取hive数据写入kafka，然后按原流处理的逻辑重新处理即可，只需修改数据源为历史数据对应的topic，
数据仓库和数据库有什么区别？

7月5日，Kyligence融资暨新产品发布会在上海举行。Kyligence团队宣布正式发布下一代企业级数据仓库产品与解决方案KyligenceEnterprisev3.0，及云端一站式大数据分析解决方案KyligenceCloudv2.0，新版解决方案革命性地实现了自动建模功能，并将在查询提速15倍的同时节省50%存储空间。