开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 6014|回复: 114
收起左侧

[易源码分享] 基于谷歌开源的 LevelDB 键值库封装模块

[复制链接]
结帖率:100% (1/1)
发表于 2023-4-6 16:39:26 | 显示全部楼层 |阅读模式   广东省深圳市
分享源码
界面截图:
是否带模块: 调用了模块
备注说明: -
本帖最后由 Buei 于 2023-4-6 22:26 编辑



什么是LevelDB


  • LevelDB是一个开源的键值对存储库,由Google开发和维护。它是一个快速、轻量级、高性能的存储库,适用于各种应用程序和平台。LevelDB支持多种语言,如C++、Java、Python等。
  • LevelDB采用单一进程、单线程的设计,它的存储方式类似于一个有序的键值对列表。每个键值对都被存储在磁盘上,并且可以按照键的顺序进行迭代。LevelDB的存储引擎使用了一种基于内存的B树数据结构,这种数据结构可以快速地插入、查找和删除数据。
LevelDB还支持数据压缩,可以在磁盘使用更少的空间来存储更多的数据。此外,它还提供了一些高级特性,如事务、快照和迭代器,以便于处理和管理数据。
LevelDB整体架构
  • LevelDb本质上是一套存储系统以及在这套存储系统上提供的一些操作接口。为了便于理解整个系统及其处理流程,我们可以从两个不同的角度来看待LevleDb:静态角度和动态角度。从静态角度,可以假想整个系统正在运行过程中(不断插入删除读取数据),此时我们给LevelDb照相,从照片可以看到之前系统的数据在内存和磁盘中是如何分布的,处于什么状态等;从动态的角度,主要是了解系统是如何写入一条记录,读出一条记录,删除一条记录的,同时也包括除了这些接口操作外的内部操作比如compaction,系统运行时崩溃后如何恢复系统等等方面。

  LevelDB的优点
  • LevelDB采用了写前日志(WAL)和快照(Snapshot)等机制,保证了数据的可靠性和一致性
  • LevelDB的存储引擎支持数据分片,可以将大型数据集分成多个小型的数据集进行存储,从而提高了存储的可扩展性。
  • LevelDB使用一种称为“后台压缩(Background Compression)”的技术来压缩数据。它会在后台运行一个压缩线程,定期检查数据库中的数据并压缩需要压缩的数据块。这样可以避免在压缩时对数据库的读写操作造成影响。
  • LevelDB在存储数据时是按照键的排序方式进行存储的,它并没有明确的容量限制,可以存储非常大的数据 [理论上无限制容量]。而类似MMKV框架限制容量的方式是使用了一种固定大小的映射文件,即在创建MMKV实例时就已经确定了最大容量,超过容量时就不能再写入数据[大概在 4GB 左右]

模块函数

模块函数

单线程10W次循环

单线程10W次循环


  • 如果你的应用需要大规模数据存储、数据持久化、支持多种编程语言,可以考虑使用LevelDB。因为LevelDB采用了基于日志结构的存储引擎,能够支持大规模数据存储,并且提供了多语言支持。
  • 虽然速度上虽然没Hashmap快,但LevelDB数据安全比较可靠,同时支持线程安全

解压密码:neko


更新日志: 1.2   2023/04/06 20:00
  • 修复键值为空时取出数据出现报错
  • 优化写入和读取的代码,单线程10W写入650毫秒
  • 由于不清楚 C++数组怎么传递至易语言的数组【取所有键】目前是先返回所有键的字符再分割
  • 有谁清楚 C++数组怎么传递至易语言的数组 可以联系我






补充内容 (2023-4-8 23:25):
新版本转至 https://bbs.125.la/forum.php?mod=viewthread&tid=14770677

补充内容 (2023-4-20 10:51):
新版本 1.5 已发布,请前往新帖查看

leveIDB.zip

497.19 KB, 下载次数: 57, 下载积分: 精币 -2 枚

1.2

评分

参与人数 19好评 +6 精币 +29 收起 理由
kirbysxh + 1 + 4 支持开源~!感谢分享
kyo9766 + 2 感谢分享,很给力!~
易语言资源网 + 1 + 3 开源精神必须支持~
VR非凡 + 1 感谢分享,很给力!~
qiyuer + 1 感谢分享,很给力!~
Arui + 1 感谢分享,很给力!~
胖虎O + 1 + 1 支持开源~!感谢分享
cayter + 1 + 2 支持开源~!感谢分享
XXGL2005 + 1 感谢分享,很给力!~
※逍遥游※ + 1 感谢分享,很给力!~
hhhql + 1 感谢分享,很给力!~
mypursue + 1 感谢分享,很给力!~
无尘666 + 1 感谢分享,很给力!~
pj小黑屋 + 1 感谢分享,很给力!~
flyk + 1 感谢分享,很给力!~
mumulu + 1 感谢分享,很给力!~
微风已过 + 1 感谢分享,很给力!~
冰点 + 1 + 3 感谢分享,很给力!~
quary + 1 + 2 开源精神必须支持~

查看全部评分


本帖被以下淘专辑推荐:

  • · 鱼木|主题: 1501, 订阅: 146
  • · 好帖|主题: 1218, 订阅: 41
  • · 易精贴|主题: 596, 订阅: 30
结帖率:100% (1/1)

签到天数: 17 天

 楼主| 发表于 2023-4-7 23:08:17 | 显示全部楼层   广东省深圳市
本帖最后由 Buei 于 2023-4-7 23:16 编辑



更新日志: 1.3   2023/04/07 22:00
  • 初始化时增加随机写
  • 新增 创建快照
  • 新增 关闭快照
  • 由于不清楚 C++数组怎么传递至易语言的数组【取所有键】目前是先返回所有键的字符再分割
    • 有谁清楚 C++数组怎么传递至易语言的数组 可以联系我

    • 压密码回复可见
    • DZAI33QZ8DUTGJU6.png







LevelDB.zip

499.34 KB, 下载次数: 16, 下载积分: 精币 -2 枚

1.3

回复 支持 反对

使用道具 举报

结帖率:100% (1/1)

签到天数: 17 天

 楼主| 发表于 2023-4-10 16:10:47 | 显示全部楼层   广东省深圳市
本帖最后由 Buei 于 2023-4-10 17:33 编辑
Buei 发表于 2023-4-7 23:08
更新日志: 1.3   2023/04/07 22:00
初始化时增加随机写
210016y1eawkvk3bvvrnb1.png
-
更新日志: 1.4   2023/04/09 21:00
  • 新增 字节集读,写
  • 新增自定义分块大小和每个块键数量
  • 新增 leveldb_迭代器 功能
  • 新增 batch_打包器 功能
  • 优化写入和读取的代码,单线程10W写入350毫秒左右(之前使用精易模块取随机字符导致500毫秒) [使用 batch_打包器 会更低 300W数据1.6s]
  • 由于不清楚 C++数组怎么传递至易语言的数组【取所有键】目前是先返回所有键的字符再分割 [建议获取大批量数据时使用迭代器]
  • 有谁清楚 C++数组怎么传递至易语言的数组 可以联系我





注意:如果要大批量多线程测试请编译后再测试,调试模式大批量多线程会且循环写入CPU可能会100


LevelDB.zip

509.03 KB, 下载次数: 6, 下载积分: 精币 -2 枚

1.4

回复 支持 反对

使用道具 举报

结帖率:100% (1/1)

签到天数: 17 天

 楼主| 发表于 2024-2-29 22:12:28 | 显示全部楼层   广东省深圳市
一个人的故事 发表于 2024-2-29 09:50
楼主您好 win2012系统里面 会提示这种报错,该怎么解决

用【DX修复工具增强版】修复下试试
回复 支持 反对

使用道具 举报

结帖率:96% (22/23)

签到天数: 6 天

发表于 2024-2-29 09:50:40 | 显示全部楼层   山东省济南市
QQ截图20240229094934.png


楼主您好 win2012系统里面 会提示这种报错,该怎么解决
回复 支持 反对

使用道具 举报

签到天数: 7 天

发表于 2024-1-23 16:15:42 | 显示全部楼层   浙江省宁波市

支持分享,感谢............
回复 支持 反对

使用道具 举报

发表于 2023-11-17 13:08:57 | 显示全部楼层   河北省承德市
感谢分享。
回复 支持 反对

使用道具 举报

签到天数: 11 天

发表于 2023-10-14 14:20:27 | 显示全部楼层   河北省邯郸市
666666666666666666666
回复 支持 1 反对 0

使用道具 举报

结帖率:0% (0/1)

签到天数: 8 天

发表于 2023-6-13 19:24:00 | 显示全部楼层   湖北省十堰市
支持分享,感谢.............
回复 支持 反对

使用道具 举报

结帖率:100% (3/3)

签到天数: 13 天

发表于 2023-5-20 10:06:32 | 显示全部楼层   山东省青岛市
学习一下键值库,感谢分享
回复 支持 反对

使用道具 举报

结帖率:100% (5/5)

签到天数: 12 天

发表于 2023-5-17 00:32:21 | 显示全部楼层   广东省佛山市
感谢分享,很给力!~
回复 支持 反对

使用道具 举报

结帖率:100% (5/5)

签到天数: 12 天

发表于 2023-5-17 00:30:23 | 显示全部楼层   广东省佛山市
感谢分享,很给力!~
回复 支持 反对

使用道具 举报

结帖率:86% (12/14)

签到天数: 5 天

发表于 2023-4-15 10:53:34 | 显示全部楼层   云南省昭通市
让 江小白 来看看帖子里藏了啥好东西~~~
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 诚聘英才| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表