数据仓库学习笔记——基础知识

B站连接推荐:​​​​​​黑马程序员Hive最新全套教程,大数据Hive3.x数仓开发精讲到企业级实战应用_哔哩哔哩_bilibili

 一、数据仓库

数据仓库面向分析,一般不对数据进行修改。

数据库面向业务服务,对数据安全性等问题进行规范处理。

二、数据集市

数据仓库存有所有业务的分析,数据集市指对于单个业务进行服务分析。

三、LOAP和OLTP

OLTP:联机事务处理

LOAP:联机分析处理

四、数据仓库分层架构

一般三层甚至更多

操作型数据层(ODS):数据暂存区临时存储

数据仓库层(DW):数据仓库

数据应用层(DA):数据应用 

数据库—(进行数据解耦合)—>ODS—(进行格式(单位等)规划整理)—>DW<——DA

五、ETL、ELT

标准做法:ETL(抽取、转换、加载):数据库(ODS)到数据仓库

大数据:ELT(先加载后转换):没有专门的ODS,直接到大数据数仓平台(HADOOP),转换在大数据平台完成,可对不同业务进行不同转换。

 


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部