Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

在 TDEngine 中, 是否有类似于 Pi System 中的基于行压缩的能力? #27165

Open
ggggarlic opened this issue Aug 12, 2024 · 3 comments
Labels
help wanted Extra attention is needed question Further information is requested

Comments

@ggggarlic
Copy link

存在如下时序数据:

ts value
now()-10s 1
now()-9s 1
now()-8s 1
now()-7s 1
now()-6s 1
now()-5s 2
now()-4s 2
now()-3s 2
now()-2s 2
now()-1s 2
now() 0

在 TDEngine 中, 是否可以实现以某些 stable 或者 database 或者 server 级的配置, 实现如下的数据库记录(或者实际存储的记录)

ts value
now()-10s 1
now()-5s 2
now() 0

并且可以基于这样的记录实现一些子查询, join, intervall fill 等聚类的功能?

@ggggarlic ggggarlic added help wanted Extra attention is needed question Further information is requested labels Aug 12, 2024
@yu285
Copy link
Contributor

yu285 commented Aug 14, 2024

我们是列式压缩,但是也支持录 join, intervall fill 等聚类的功能。

具体效果 您可以实测一下

@ggggarlic
Copy link
Author

ggggarlic commented Aug 14, 2024

我们是列式压缩,但是也支持录 join, intervall fill 等聚类的功能。

具体效果 您可以实测一下

感谢您的答复.

目前已在使用 OSS 版本.并验证了其在列压缩情况下的压缩率和磁盘占用情况.

只是在后续我们自身的优化方案中, 有涉及到该压缩方案的需求以及验证该功能(基于行压缩)在 TDEngine 的 可行性.
在相关文档和 blog 中均未找到相关线索. 在此提问想确认一下是否有类似的功能, 是否是我没了解到的, 想得到一下确认.

这里我们期望的是, 是否有基于行压缩的"相关配置" 或 "特性" , 并同时可支持 interval fill , join, subscribe 等功能.

@zhangqhn
Copy link

你说的是实时数据库的有损压缩功能,主要用来实现对采集的高频数据进行压缩,一般根据压缩偏差可以实现几十倍到上百倍的压缩率,这个功能一般只有实时数据库有实现,目前我没有看到任何一个时序数据库实现了这个功能。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
help wanted Extra attention is needed question Further information is requested
Projects
None yet
Development

No branches or pull requests

3 participants