基于Facebook开源的 rocksdb 数据库模块

Buei · 发表于 2023-5-14 21:08:59

本帖最后由 Buei 于 2023-5-15 12:37 编辑

什么是rocksdb?

RocksDB是一个持久的键值存储库，它是用C++编写的，适合在快速、低延迟的存储设备上存储数据。它是由Facebook数据库工程团队开发和维护。

LevelDB 有什么区别?

RocksDB和LevelDB都是基于LSM-Tree的嵌入式键值存储库，但RocksDB是在LevelDB的基础上进行了优化和增强

RocksDB可以支持多线程合并文件，而LevelDB是单线程
RocksDB可以根据需要开辟多个Memtable ，而LevelDB只有一个Memtable
RocksDB可支持多种压缩算法，而LevelDB只支持snappy
单线程模式下 LevelDB 可能稍微快一点,而在多线程下 RocksDB 就会发挥出它的优势了

rocksdb的优点

高性能：RocksDB 使用了很多优化技术，如多线程、高效的数据结构等，因此具有非常高的读写性能。
可扩展性：RocksDB 可以处理大规模的数据，并支持自动分片和负载均衡等功能，因此可以很好地应对高并发访问。
可靠性：RocksDB 支持 ACID 事务，保证数据的一致性和可靠性。
灵活性：RocksDB 支持多种数据格式，包括内存映射文件、纯内存等，让用户可以灵活选择适合自己的存储方式。
RocksDB在存储数据时是按照键的排序方式进行存储的，它并没有明确的容量限制，可以存储非常大的数据 [理论上无限制容量]。而类似MMKV框架限制容量的方式是使用了一种固定大小的映射文件，即在创建MMKV实例时就已经确定了最大容量，超过容量时就不能再写入数据[大概在 4GB 左右]

另一款开源 leveldb的帖子

下图为 rocksdb和leveldb 单/多线程写入对比
理论上在单线程下 RocksDB应该比levldb稍微略慢一点

图中可看到300W多线程写入RocksDB一瞬间完成

leveldb和RocksDB单线程写入对比

leveldb和RocksDB多线程写入对比

更新日志 2023/05/15 12:00 - V1.2

增加取/置长整数
增加 rocksdb_启动参数 [最大后台flush数,最大后台compaction数,允许并发写入memtable,允许写线程自适应yield,允许流水线写入]
增加 rocksdb_Flush 函数 [将缓存写入硬盘] 用于将内存中的数据刷入磁盘中
增加 rocksdb_启动参数 [IncreaseParallelism并发度] 可以增加并行度,提高读写性能,但增加并行度也会增加CPU的使用率
优化销毁函数默认为安全销毁
优化快速清空函数

编译下和未编译下运行耗时相差很大,建议编译后再测试
解压密码:neko_

补充内容 (2023-5-31 21:37):
1.3版本已发布请看置顶

补充内容 (2023-7-29 19:56):
1.4版本已发布请看置顶

Buei · 发表于 2023-8-3 20:09:46

更新日志 2023/08/03 20:05 - V1.41

修复由C++增强编译导致较老版本CPU不兼容 [载入时报错无法找到指定DLL库文件“rocksdb_xc.dll”中的输出命令如果使用此版本任然报错,请使用DX修复工具[增强版]修复C++环境下载https://blog.csdn.net/vbcom/article/details/7245186]
修复写/读浮点,字节集错误
增加写/读字节集键
增加迭代器取整数,长整数,双精度,逻辑型数据 -取字节集键
增加事务添加整数,长整数,双精度,逻辑型数据 -取当前位置键_字节集 [压入更名为添加]-----
-取当前位置键_字节集更名为:取当前位置键W
增加允许低优先级写入[low_pri]
修复强制写入启用失败

- > 以下为Facebook官方更新日志 - V8.3.2

Reduced cases of illegally using Env::Default() during static destruction by never destroying the internal PosixEnv itself (except for builds checking for memory leaks).(#11538)
Fixed higher read QPS during DB::Open() reading files created prior to #11406, especially when reading many small file (size < 52 MB) during DB::Open() and partitioned filter or index is used.

小磊88 · 发表于 2024-4-7 11:53:37

牛皮，支持,谢谢分享。

wzkwzk01 · 发表于 2024-4-7 11:02:13

1.41压缩文件打不开，密码不对，请核实下

wzkwzk01 · 发表于 2024-4-6 20:51:41

谢谢，好好学习下，希望又快又好

佳航 · 发表于 2024-3-17 01:55:44

学习一下

SillyMe · 发表于 2024-1-14 20:44:09

看看啊啊啊啊

胖虎O · 发表于 2024-1-4 21:58:51

谢谢大佬的分享

胖虎O · 发表于 2024-1-4 21:58:07

感谢下分享了

学习无止境呀 · 发表于 2024-1-4 04:03:31

Buei 发表于 2023-8-3 20:09
更新日志 2023/08/03 20:05 - V1.41

修复由C++增强编译导致较老版本CPU不兼容 [载入时报错无法找到 ...

感谢分享，很给力！~

yunmen · 发表于 2023-12-28 14:43:50

密码呢、、、、、、、、、、、、、、、、、、、、、、、、、、

老李隔壁 · 发表于 2023-12-27 15:51:57

密码呢、、、、、、、、、、、、、、、、、、、、、、、、、、

		自动登录	找回密码
密码			注册

[易源码分享] 基于Facebook开源的 rocksdb 数据库模块

点评

评分

本帖被以下淘专辑推荐:

点评

评分