hive中的元数据管理
元数据表结构详解
1、存储Hive版本的元数据表(VERSION)
2、Hive数据库相关的元数据表(DBS、DATABASE_PARAMS)
DBS：该表存储Hive中所有数据库的基本信息，字段如下:
DATABASE_PARAMS：该表存储数据库的相关参数，在CREATE DATABASE时候用WITH DBPROPERTIES(property_name=property_value, …)指定的参数：
3、Hive表和视图相关的元数据表
主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。
TBLS:该表中存储Hive表，视图，索引表的基本信息
TABLE_PARAMS:该表存储表/视图的属性信息
TBL_PRIVS：该表存储表/视图的授权信息
4、Hive文件存储信息相关的元数据表
主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS，由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。
SDS:该表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。
5、Hive表字段相关的元数据表
主要涉及COLUMNS_V2：该表存储表对应的字段信息
6、Hive表分分区相关的元数据表
主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS
PARTITIONS:该表存储表分区的基本信息
PARTITION_KEYS:该表存储分区的字段信息
7.information_schema.partitions表，存放分区的详细数据
| 字段名 | 描述 |
| table_schema | 表所在的数据库名 |
| table_name | 表名 |
| partition_name | 分区名 |
| create_time | 表的创建时间 |
| last_modified_time | 表的最后更新时间 |
| data_length | 分区数据size |
SELECT *
FROM information_schema.partitions
WHERE table_name = '表名'and partition_name='分区名'元数据管理平台(Atlas)
Atlas是一组可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并能与整个企业数据生态系统集成;Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立数据资产的目录，对这些资产进行分类和治理，并为IT团队、数据分析团队提供围绕这些数据资产的协作功能。
atlas 的底层存储 ：janusGraph 图数据库 --（依赖于hbase 和 solr）
atlas的核心功能层： core --相当于javaee里面的service层
atlas对外提供服务的一层：integration（api层） --相当于javaee里面的 controller层
外界要将元数据 录入（注入）到 atlas中去，通过kafka进行对接
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！