IT技术之家

首页 > 数据库

数据库

inceptor手册_inceptor数据库_TBon-

发布时间:2023-12-10 02:50:11 数据库 90次 标签:数据仓库
inceptor手册inceptor基础对象数据库表托管表外表text表csv表ORC表holodesk表分区表分桶表视图inceptor基础对象数据库,表,视图,函数;对象的元数据保存在inceptor metastore,数据库对象内的数据在 内存或SSD中(Holodesk表)HDFS(text表/orc表/csv表)数据库数据库是存放一组表的目录可以使用beeline -u “jdbc:hive2://<server_ip/hostname>:10000/"指...

inceptor手册

inceptor基础对象数据库表托管表外表text表csv表ORC表holodesk表分区表分桶表 视图

inceptor基础

对象

数据库,表,视图,函数;对象的元数据保存在inceptor metastore,数据库对象内的数据在 内存或SSD中(Holodesk表)
HDFS(text表/orc表/csv表)

数据库

数据库是存放一组表的目录
可以使用beeline -u “jdbc:hive2://<server_ip/hostname>:10000/"指定数据库
每一个数据库都是hdfs上的目录,路径为hdfs://<nameservice(hdfs的nameservice名称)>/<id(inceptor的服务名)/user/hive/warehouse/<database_name>.db

行和列来组织存储的数据
根据inceptor的所有权,分为外表和托管表
根据表的存储格式,分为text表,orc表,csv表和holddesk表
根据是否分区,分为分区表和非分区表
根据是否分桶,分为分桶表和非分桶表

托管表

create table 默认创建托管表,inceptor对其有所有权

外表

create external table,外表数据保存在hdfs指定路径,和location<hdfs_path>合用,inceptor对其没有所有权,drop时,仅删除了metastore中的元数据而不删除表中数据,也就是仅仅删除了inceptor对其的操作权利

text表

默认表格式,不支持事务处理,常用于将文本文件中原始数据导入inceptor,两种方式把文本数据导入text表中
1.建外部text表,让该表指向hdfs上的一个目录,inceptor将目录下的文件数据都导入该表
2.建text表后将本地货hdfs的一个文件或一个目录下的数据load

csv表

ORC表

分为orc事务表和非事务表
事务表支持事务处理和更多的增删该语法,如果对表需要进行事务处理,应选择orc事务表
非事务表主要用来做统计分析

holodesk表

存在内存或SSD中,可以进行大批量复杂查询

分区表

建表时使用partition by,按分区键的值放在hdfs下的不同目录下,减少查询时扫描的数据量

分桶表

clustered by…into…buckets.分桶表的数据按分桶键的哈希值放在hdfs的不同目录下,有效减少扫描数量

视图

create view as select,非实物话的,视图没有实际的数据,对视图查询时,建视图的查询语句会再次执行,可以理解为查询的封装
简化查询,对表中的内容的权限控制