基于Facebook开源的 rocksdb 数据库模块

Buei

什么是rocksdb?

• RocksDB是一个 持久的键值存储库 ，它是用C++编写的，适合在快速、低延迟的存储设备上存储数据。它是由Facebook数据库工程团队开发和维护。
  

LevelDB 有什么区别?

• RocksDB和LevelDB都是基于LSM-Tree的嵌入式键值存储库，但RocksDB是在LevelDB的基础上进行了优化和增强
  
  
  

• RocksDB可以支持 多线程 合并文件，而LevelDB是 单线程
• RocksDB可以根据需要开辟 多个Memtable ，而LevelDB只有 一个Memtable
• RocksDB可支持多种压缩算法，而LevelDB只支持snappy
  
• 单线程模式下 LevelDB 可能稍微快一点,而在多线程下 RocksDB 就会发挥出它的优势了
  
  

rocksdb的优点

• 高性能：RocksDB 使用了很多优化技术，如多线程、高效的数据结构等，因此具有非常高的读写性能。
• 可扩展性：RocksDB 可以处理大规模的数据，并支持自动分片和负载均衡等功能，因此可以很好地应对高并发访问。
• 可靠性：RocksDB 支持 ACID 事务，保证数据的一致性和可靠性。
• 灵活性：RocksDB 支持多种数据格式，包括内存映射文件、纯内存等，让用户可以灵活选择适合自己的存储方式。
• RocksDB在存储数据时是按照键的排序方式进行存储的，它并没有明确的容量限制，可以存储非常大的数据 [理论上无限制容量]。而类似MMKV框架限制容量的方式是使用了一种固定大小的映射文件，即在创建MMKV实例时就已经确定了最大容量，超过容量时就不能再写入数据[大概在 4GB 左右]
  

• 另一款开源 leveldb的帖子
  

下图为 rocksdb和leveldb  单/多线程 写入对比
理论上在单线程下 RocksDB应该比levldb稍微略慢一点

图中可看到300W多线程写入RocksDB一瞬间完成

leveldb和RocksDB单线程写入对比

leveldb和RocksDB多线程写入对比

更新日志  2023/05/15 12:00  - V1.2

• 增加 取/置长整数
• 增加 rocksdb_启动参数 [最大后台flush数,最大后台compaction数,允许并发写入memtable,允许写线程自适应yield,允许流水线写入]
• 增加 rocksdb_Flush 函数 [将缓存写入硬盘]  用于将内存中的数据刷入磁盘中
• 增加  rocksdb_启动参数 [IncreaseParallelism并发度]  可以增加并行度,提高读写性能,但增加并行度也会增加CPU的使用率
• 优化 销毁 函数 默认为安全销毁
• 优化 快速清空 函数
  

编译下和未编译下运行耗时相差很大,建议编译后再测试
解压密码:neko_

补充内容 (2023-5-31 21:37):
1.3版本已发布 请看置顶

补充内容 (2023-7-29 19:56):
1.4版本已发布 请看置顶

Buei

更新日志  2023/08/03 20:05  - V1.41

修复 由C++增强编译导致较老版本CPU不兼容 [载入时报错 无法找到指定DLL库文件“rocksdb_xc.dll”中的输出命令 如果使用此版本任然报错,请使用DX修复工具[增强版]修复C++环境 下载https://blog.csdn.net/vbcom/article/details/7245186]
修复 写/读 浮点,字节集 错误
增加 写/读 字节集键
增加 迭代器 取整数,长整数,双精度,逻辑型数据 -取字节集键
增加 事务 添加整数,长整数,双精度,逻辑型数据 -取当前位置键_字节集 [压入更名为添加]-----
-取当前位置键_字节集 更名为:取当前位置键W
增加 允许低优先级写入[low_pri]
修复 强制写入启用失败


- >  以下为Facebook官方更新日志 - V8.3.2

• Reduced cases of illegally using Env::Default() during static destruction by never destroying the internal PosixEnv itself (except for builds checking for memory leaks).(#11538)
• Fixed higher read QPS during DB::Open() reading files created prior to #11406, especially when reading many small file (size < 52 MB) during DB::Open() and partitioned filter or index is used.
  

tramsky

在线时间762 小时注册时间2016-9-12

小磊88

牛皮，支持,谢谢分享。

wzkwzk01

1.41压缩文件打不开，密码不对，请核实下

wzkwzk01

谢谢，好好学习下，希望又快又好

佳航

学习一下

SillyMe

看看啊啊 啊啊

胖虎O

谢谢大佬的分享

胖虎O

感谢下分享了

学习无止境呀

Buei 发表于 2023-8-3 20:09
更新日志  2023/08/03 20:05  - V1.41

修复 由C++增强编译导致较老版本CPU不兼容 [载入时报错 无法找到 ...

        感谢分享，很给力！~

yunmen

密码呢、、、、、、、、、、、、、、、、、、、、、、、、、、