大家大数据都怎么处理的？

非常猥锁 · 发表于 2024-9-10 15:51:51

我每天需要爬20万次，爬出来的需要保存的数据共有500万组（爬一次出来24条需要保存的），大家都是怎么快速保存到数据库？求大哥们指导一二

帅气与大侠 · 发表于 2024-9-10 16:54:40

非常猥锁发表于 2024-9-10 16:23
读的时候要命

读也比数据库快啊
看你的储存的数据结构了，只不过需要自己封装一些读取方法，光读数据一秒差不多可以读取大几百MB数据量到内存，在内存中搜索关键字速度更快

凌哥 · 发表于 2024-9-10 16:33:05

非常猥锁发表于 2024-9-10 16:23
文本格式

文本也得看你是什么文本，存储后，以后需要怎么cha询，都要考虑的

非常猥锁 · 发表于 2024-9-10 16:23:46

凌哥发表于 2024-9-10 16:08
这个就得看你数据要以什么格式存储了，不然怎么设计

文本格式

非常猥锁 · 发表于 2024-9-10 16:23:33

帅气与大侠发表于 2024-9-10 16:19
如果你只是单纯的储存数据，直接储存在txt文件上就可以了，500万组数据，按500万行来说，数秒左右就储存完 ...

读的时候要命

帅气与大侠 · 发表于 2024-9-10 16:19:48

如果你只是单纯的储存数据，直接储存在txt文件上就可以了，500万组数据，按500万行来说，数秒左右就储存完毕了

凌哥 · 发表于 2024-9-10 16:08:14

非常猥锁发表于 2024-9-10 16:07
大哥，上传SQL太慢了，爬完都没传完，给个思路咯

这个就得看你数据要以什么格式存储了，不然怎么设计

非常猥锁 · 发表于 2024-9-10 16:07:30

凌哥发表于 2024-9-10 16:05
这数据量也不大

大哥，上传SQL太慢了，爬完都没传完，给个思路咯

凌哥 · 发表于 2024-9-10 16:05:57

这数据量也不大

xdj123 · 发表于 2024-9-10 16:05:19

直接批量插入数据库

		自动登录	找回密码
密码			注册

[闲聊] 大家大数据都怎么处理的？