From 4f87beb7ab07a38f6a1ac0d2d6a7f1e21483504e Mon Sep 17 00:00:00 2001 From: yinbo <82042052+yinbo3@users.noreply.github.com> Date: Wed, 23 Oct 2024 15:13:33 +0800 Subject: [PATCH] chore: release v2.2.2 (#160) --- dir.yaml | 3 ++ en_US/sql-reference/information-schema.md | 1 + zh_CN/releases/changes.md | 20 +++++++ zh_CN/sql-reference/information-schema.md | 65 +++++++++++++++++++++++ 4 files changed, 89 insertions(+) create mode 100644 en_US/sql-reference/information-schema.md create mode 100644 zh_CN/sql-reference/information-schema.md diff --git a/dir.yaml b/dir.yaml index 0762a96..44b8a37 100644 --- a/dir.yaml +++ b/dir.yaml @@ -188,6 +188,9 @@ #- title_en: String # title_cn: 字符串函数 # path: sql-reference/string + - title_en: INFORMATION_SCHEMA + title_cn: INFORMATION_SCHEMA + path: sql-reference/information-schema #- title_en: Clustering # title_cn: 构建集群 # path: cluster/introduction diff --git a/en_US/sql-reference/information-schema.md b/en_US/sql-reference/information-schema.md new file mode 100644 index 0000000..23d88bb --- /dev/null +++ b/en_US/sql-reference/information-schema.md @@ -0,0 +1 @@ +# INFORMATION_SCHEMA diff --git a/zh_CN/releases/changes.md b/zh_CN/releases/changes.md index 3948992..c471e0f 100644 --- a/zh_CN/releases/changes.md +++ b/zh_CN/releases/changes.md @@ -1,3 +1,23 @@ +## 2.2.2 + +*发布日期: 2024-10-21* + +### 增强 +- 对于补录的数据，优化了查询逻辑，提升查询效率。 +- 使用 to_unixtime 函数时，支持对时区的处理。 + +### 修复 +- dlsql 可能 panic 的问题。 +- 在部份场景下，datalayers 平滑退出耗时较长的问题。 +- 查询数据结果中存在补录数据时，部份查询场景可能报错的问题。 + + +### 其他 +- 表名支持 `-` 连接符（如表名中带`-`， 在执行相关 SQL 语句时，需使用 "`" 将对应的字符串进行包裹）。 +- 丰富 Hybird cache 的 metrics，以更方便的观察 Hybird cache 的使用情况。 +- 优化 dlsql 的错误处理处理，当 SQL 语句报错时可更清晰的展示相关错误信息。 + + ## 2.2.1 *发布日期: 2024-10-09* diff --git a/zh_CN/sql-reference/information-schema.md b/zh_CN/sql-reference/information-schema.md new file mode 100644 index 0000000..d108a7b --- /dev/null +++ b/zh_CN/sql-reference/information-schema.md @@ -0,0 +1,65 @@ +# INFORMATION_SCHEMA +INFORMATION_SCHEMA 是 Datalayers 中用于提供数据库的元数据访问的一个虚拟数据库。INFORMATION_SCHEMA 中的表并不存储实际的数据，而是存储数据库对象（如表、列、sst_files等信息）的元数据信息，因此 INFORMATION_SCHEMA 下所有表均为只读表（视图）。以下是一些常用的 `information_schema` 表。 + +## schemata +| 类型名称 | 类型 | 备注 | +| ------------- |-------------------------- |------------------------------------------ | +| database | STRING | 数据库的名称 | +| created_time | STRING | 数据库的创建时间 | + + +## tables +| 类型名称 | 类型 | 备注 | +| ------------- |-------------------------- |------------------------------------------ | +| database | STRING | 数据库的名称 | +| table | STRING | table 的名称 | +| engine | STRING | 表引擎 | +| version | UINT32 | 表的 version， 每修改一次 version 加 1 | +| created_time | STRING | 创建时间 | +| updated_time | STRING | 最新的修改时间 | + +## table_partitions +| 类型名称 | 类型 | 备注 | +| ------------- |-------------------------- |------------------------------------------ | +| database | STRING | 数据库的名称 | +| table | STRING | table 的名称 | +| node | STRING | partition 被分配到的 node | +| partition_id | UINT64 | partition_id，全局唯一 | +| status | STRING | partition 的状态 | + + +## partition_manifests + +| 类型名称 | 类型 | 备注 | +| ------------- |-------------------------- |------------------------------------------ | +| database | STRING | 数据库的名称 | +| table | STRING | table 的名称 | +| partition_id | UINT64 | partition_id，全局唯一 | +| manifest_version | UINT32 | manifest_version | +| read_version | UINT32 | 当前 read version | +| flushed_wal_seq_id | UINT64 | partiflushed_wal_seq_id | +| flushed_wal_seq_id_offset | UINT64 | flushed_wal_seq_id_offset | +| max_ts_in_ssts | INT64 | 已落盘中，最大的 时间 | +| schema_version | UINT32 | 当前 partition 中， table schema 的 version | + +## sst_files + +| 类型名称 | 类型 | 备注 | +| ------------- |-------------------------- |------------------------------------------ | +| database | STRING | 数据库的名称 | +| table | STRING | table 的名称 | +| partition_id | UINT64 | partition_id，全局唯一 | +| file_name | STRING | 数据存储的文件名 | +| file_id | UINT64 | 当前文件的id，全局唯一 | +| file_size | UINT64 | 当前文件存储实际占用的磁盘空间大小（压缩后），单位：Byte | +| unzip_size | UINT64 | 当前文件数据内容所占空间大小（压缩前） | +| min_ts | INT64 | 当前文件中数据最小的时间 | +| max_ts | INT64 | 当前文件中数据最大的时间 | +| storage_type | STRING | 当前数据存储的目标类型，如：S3 | +| is_delta | BOOLEAN | 当前数据文件是否是 delta 数据 | + +该虚拟表用于存储 数据库/表 对应的数据文件信息。可通过该表查询 数据库/表 的空间占用信息、压缩率等。 +```sql +// 查询表名为 `sx1` 存储数据的原始大小、压缩后的空间大小 +select sum(file_size),sum(unzip_size) from sst_files where table = 'sx1' +```