有没有基于硬盘的key value储存方案

壮志豪情 · 发表于 2019-11-4 12:20:25

我目前有20亿条左右的数据，每条数据有独立的ID作为key 每秒超万次读写。
每条数据大小在200字节左右
redis之类的内存库容量上远远不够。
我目前采用的是分6层文件夹每个ID用文件的形式保存，速度可以满足需求。但是又受到文件簇数量限制，我的是1T固态盘，4k对齐后最多只能存1024*1024*1024/4≈2.6亿个文件

有没有什么方案既能保证速度的情况下又能满足容量需求？

大表舅 · 发表于 2019-11-4 12:20:26

试试 ssdb 改redis的，Redis 的 100 倍容量

流星暴雨 · 发表于 2019-11-4 12:26:46

试试MongoDB吧，另外如果分文件可以，可以试试其他文件系统或者关掉对齐试试

天涯拖拖 · 发表于 2019-11-4 13:43:02

Redis应该可以满足你的需求

壮志豪情 · 发表于 2019-11-5 21:34:56

大表舅发表于 2019-11-4 13:04
试试 ssdb 改redis的，Redis 的 100 倍容量

看文档介绍挺好的应该能满足需求。用虚拟机安装了可用，回头用服务器测试下性能

壮志豪情 · 发表于 2019-11-5 21:35:40

天涯拖拖发表于 2019-11-4 13:43
Redis应该可以满足你的需求

我怕redis爆内存

壮志豪情 · 发表于 2019-11-5 21:37:28

流星暴雨发表于 2019-11-4 12:26
试试MongoDB吧，另外如果分文件可以，可以试试其他文件系统或者关掉对齐试试

试过的并发跟不上

		自动登录	找回密码
密码			注册

[完成] 有没有基于硬盘的key value储存方案

最佳答案