数据仓库学习笔记——基础知识
B站连接推荐:黑马程序员Hive最新全套教程,大数据Hive3.x数仓开发精讲到企业级实战应用_哔哩哔哩_bilibili
一、数据仓库
数据仓库面向分析,一般不对数据进行修改。
数据库面向业务服务,对数据安全性等问题进行规范处理。
二、数据集市
数据仓库存有所有业务的分析,数据集市指对于单个业务进行服务分析。
三、LOAP和OLTP
OLTP:联机事务处理
LOAP:联机分析处理
四、数据仓库分层架构
一般三层甚至更多
操作型数据层(ODS):数据暂存区临时存储
数据仓库层(DW):数据仓库
数据应用层(DA):数据应用
数据库—(进行数据解耦合)—>ODS—(进行格式(单位等)规划整理)—>DW<——DA
五、ETL、ELT
标准做法:ETL(抽取、转换、加载):数据库(ODS)到数据仓库
大数据:ELT(先加载后转换):没有专门的ODS,直接到大数据数仓平台(HADOOP),转换在大数据平台完成,可对不同业务进行不同转换。
本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!
