-
Notifications
You must be signed in to change notification settings - Fork 1.2k
新旧引擎数据转换工具
Axlgrep edited this page Sep 28, 2018
·
3 revisions
nemo_to_blackwidow
/pika-tools/nemo_to_blackwidow
将Nemo引擎格式的db转换成Blackwidow引擎格式的db
Pika3.0将数据引擎从Nemo替换成了Blackwidow, Blackwidow为了提高引擎性能对数据存储格式进行了重新设计,由于新引擎的数据格式和老引擎数据格式不同,所以提供了这个工具用于旧引擎db向新引擎db的转换
- 总共会起5个ClassifyThread,对应于Nemo db中的五种数据结构,也就是每一个分类线程对应于一种数据结构
- 扫描Nemo db中不同数据结构的库,将扫描出来的Key分发给Migrator
- 获取到从ClassifyThread发送过来的key
- 对Key进行解析分类,不同数据结构的Key拿到不同的数据
- 调用blackwidow的接口将这些数据存储到blackwidow的数据库中
Usage:
Nemo_to_Blackwidow reads data from Nemo DB and send to Blackwidow DB
-h -- displays this help information and exits
-n -- numbers of migrator, default = 6
-l -- whether write log, default = 0
-b -- number of members in multiple data structures per migration, default = 512
example: ./nemo_to_blackwidow ./nemo_db ./blackwidow_db -n 10 -l 0 -b 512
- 安装使用
- 支持的语言和客户端
- 当前支持的Redis接口以及兼容情况
- 配置文件说明
- 数据目录说明
- info信息说明
- 部分管理指令说明
- 差异化命令
- Pika Sharding Tutorials
- Pika订阅
- 配合sentinel(哨兵)实现pika自动容灾
- 如何升级到Pika3.0
- 如何升级到Pika3.1或3.2
- Pika多库版命令、参数变化参考
- Pika分片版本命令
- 副本一致性使用说明
- Pika内存使用
- Pika最佳实践
- 整体架构
- 线程模型
- 全同步
- 增量同步
- 副本一致性
- 快照式备份
- 锁的应用
- nemo存储引擎数据格式
- blackwidow存储引擎数据格式
- Pika源码学习--pika的通信和线程模型
- Pika源码学习--pika的PubSub机制
- Pika源码学习--pika的命令执行框架
- Pika源码学习--pika和rocksdb的对接
- pika-NoSQL原理概述
- pika在codis中的探索
- Pika 笔记
- pika 主从同步原理