MYSQL的记录集如何多线程分批同时数据分析互不影响？

lzzolhvjye

SQLcha询语句取得的记录集，记录集行数不确定，多则几百万行。需要逐行分析数据，单线程分析太慢了，但我测试了多线程又行不通，因为只要有一个线程改变了当前行，那么所有的线程里都跳到同一行去了，失去了多线程的意义。有什么办法可以多线程分析记录集吗？或者，记录集可以进行复制吗？我的想法是如果可以复制的话就给每个线程单独复制一份记录集，这样跳行就互不影响了，只是这样应该很吃内存。基于前面所说，请问有没有什么好的处理方案？刚接触使用数据库，好多不懂。大神们请多指教。


补充内容 (2018-12-9 20:34):
另外取记录集有什么更高效的方法吗？取的数据如果以百万行计的话，每次取都要好几分钟。

sinewtec

条件cha询！！！！！！

Patek

连接池了解一下？

lzzolhvjye

sinewtec 发表于 2018-12-9 16:29
条件cha询！！！！！！

我也想直接用条件cha询来完成，但我最终的结果不单单是把数据行显示出来。而是数据库的多字段组合后是否在指定对比内容里出现过，我最终要的结果是每次出现的间隔行数。这样的条件能写吗？说具体点吧，比如我数据库有5个字段1、2、3、4、5。我要分析的过程是从第一行开始，把1、2、3字段的内容连接在一起得到一组文本，然后判断这组文本在指定文本里是否能找到，然后分析下一行，我要的结果是每次找到时的间隔行数。比如第1行找到，第2－9行没有找到，第10行找到，那么得到一次间隔9，这个结果9才最终要的，依次类推得出所有间隔。请教条件怎么写？

lzzolhvjye

Patek 发表于 2018-12-9 16:33
连接池了解一下？

别那么惜字啊，具体怎么做呢？需要第三方支持吗？我要现学就能现用的，如果是各种自己查资料摸索我就不来论坛发贴问了，会来发贴一般都是比较急切的问题。因为我要先让软件可以运行起来，哪怕前期效率低，后期才有时间去进一步慢慢研究优化。

lzzolhvjye

大神呢？大神在哪？出来指点一二啊。

yongxuan

看一看石佛能不有帮助