一、说明
梧桐数据库是一款分布式数据库,它支持多种存储格式,包括ROW
、ORC
、Hudi
和MagmaAP
。这些存储格式中,ROW
是按行存储的格式,而ORC
、Hudi
和MagmaAP
则是按行列存储的格式。在创建表时,用户可以根据需求选择不同的存储格式,例如创建一个默认的ORC
表或显式指定为ROW
存储格式的表。此外,梧桐数据库还支持创建S3
内表,并且提供了基于Hash
的分布和Random
分布两种数据分布方式。MagmaAP
格式的表在创建时默认使用Hash
分布,并且支持索引。
二、每种表格式的区别和创建方式
1. ROW
格式
这是一种按行存储的格式,适合于需要频繁进行行级更新或删除操作的场景。ROW
格式的表不支持索引,但在梧桐数据库中,它支持存储压缩,如SNAPPY
和ZLIB
,以优化存储空间的使用。
- 创建
row
格式的表
sql
代码解读
复制代码
CREATE TABLE rank2 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = row);
- 创建
snappy
压缩格式的row
表
sql
代码解读
复制代码
CREATE TABLE rank3 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = row, compresstype = snappy);
2. ORC
格式
是一种列式存储格式,它在存储效率和查询性能之间提供了良好的平衡。ORC
格式支持多种压缩算法,如LZ4
、SNAPPY
、ZSTD
和ZLIB
,适用于OLAP
(在线分析处理)场景,可以显著提高数据扫描和查询的速度。
- 默认创建
orc
sql
代码解读
复制代码
CREATE TABLE rank1 (
id int,
rank int,
year smallint,
gender char(1),
count int
);
- 指定创建
orc
表
sql
代码解读
复制代码
CREATE TABLE rank4 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = orc);
- 创建带压缩的
orc
表
sql
代码解读
复制代码
CREATE TABLE rank5 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = orc, compresstype = lz4);
3. Hudi
格式
Apache Hudi
是一种支持插入和更新操作的存储格式,它允许用户在保持数据文件不可变的同时进行数据的实时更新。Hudi
格式的表适用于需要高吞吐量数据摄入和更新的场景,同时支持数据的快速查询。
- 创建
hudi
表
sql
代码解读
复制代码
CREATE TABLE rank6 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = horc, type = mor);
- 创建带压缩的
hudi
表
sql
代码解读
复制代码
CREATE TABLE rank7 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = horc, type = mor, compresstype = lz4);
4. MagmaAP
格式
这是一种梧桐数据库特有的存储格式,它支持行存储和列存储的混合模式,并且内部自动实现了数据压缩。MagmaAP
格式的表支持主键索引,适合于需要高并发写入和复杂查询的场景。
- 创建带压缩的
magma
表
sql
代码解读
复制代码
CREATE TABLE rank8 (
id int,
rank int,
year smallint,
gender char(1),
count int
) FORMAT 'magmaap';
注:在表的存储模型方面,
WuTongDB
提供了丰富的选项,例如可以创建snappy
压缩的ROW
表或不压缩的ORC
表。同时,用户还可以创建带有primary key
的MagmaAP
表,这种表内部自动实现了压缩。WuTongDB
的表存储模型支持多种特性,如行/列存储、存储格式、是否支持新执行器、压缩支持、是否支持UPDATE/DELETE
操作以及是否支持索引等。
三、表格式区别对比
特性 | ROW | ORC | Hudi | MAGMAAP |
---|---|---|---|---|
行/列存储 | 行 | 行列混存 | 行列混存 | 行列混存 |
存储格式 | 自定义存储格式 | 兼容标准 ORC 格式 | 兼容 Apache Hudi 表格式 | 自定义存储格式 |
是否支持新执行器 | 不支持 | 支持 | 支持 | 支持 |
压缩 | 支持 snappy , zlib | 支持 lz4 , snappy , zstd , zlib | 支持 lz4 , snappy , zstd , zlib | 自动选择压缩算法,不需要用户指定 |
UPDATE / DELTE | 支持 | 支持 | 支持 | 支持 |
INDEX | 不支持 | 不支持 | 不支持 | 支持 |
如有侵权请联系站点删除!
技术合作服务热线,欢迎来电咨询!