16GB文本数据怎么汇总成sql文件

氢原子 · 发表于 2022-2-11 09:44:17

各位易友,我现在这里有16GB文件需要汇总到mysql数据库的sql文件中.
问题一:易语言如何读取16GB的txt文件一条条送入服务器而且不会出现崩溃?
问题二:除了读取txt文件一条条送入服务器中还有什么好办法吗?

浅浅` · 发表于 2022-2-11 10:02:30

1.大文件拆分
2.多线程转换sql语句
3.多线程插入

人杰啊 · 发表于 2022-2-11 10:18:38

qb数据吧,挺难的很慢

鹏书 · 发表于 2022-2-11 10:19:37

易语言读取是没问题，但是这么多数据要上传很久很久很久啊

53770zhang · 发表于 2022-2-11 10:25:52

问题1:论坛搜索大文本读取。 2.多线程？16G有多少行？几亿还是几十亿行？

氢原子 · 发表于 2022-2-11 11:29:47

53770zhang 发表于 2022-2-11 10:25
问题1:论坛搜索大文本读取。 2.多线程？16G有多少行？几亿还是几十亿行？

16亿行文本格式 xxxxxx----xxxxxxx#换行符

一瓶矿泉水 · 发表于 2022-2-11 11:42:11

方案一，直接上多线程，队列读取（文件号方式，支持大文件的），多线程接口提交即可，注意记录失败。
方案二，直接单线程干，读取数据组包批量插入SQL语句直接写入mysql数据库。推荐方案二。

53770zhang · 发表于 2022-2-11 11:51:26

氢原子发表于 2022-2-11 11:29
16亿行文本格式 xxxxxx----xxxxxxx#换行符

qq-手机号？我以前有个朋友就搞这个

hopexyz · 发表于 2022-2-11 13:54:02

多线程，多表
单表16亿条太慢了

氢原子 · 发表于 2022-2-11 14:19:37

nikezhi 发表于 2022-2-11 10:19
易语言读取是没问题，但是这么多数据要上传很久很久很久啊

先说怎么读把,本地上传,很快的,读入后还需要分割

		自动登录	找回密码
密码			注册

[求助] 16GB文本数据怎么汇总成sql文件