鱼刺多线程队列问题

adoue00

这个是模拟双层线程池处理数据的方法，在下面的多线程队列中

第一次点击 按钮 执行时 线程池2获取不到数据：
队列.弹出文本 (局_分配到的任务) #错误地方
----------
第2次之后多次测试中，也有几率在弹出的文本次数跟 orderArr 数组中的次数对不上(orderArr 模拟的10个成员数据，几率弹出文本只有9个)
--------
有好的解决方法吗？

  

数据类型名	公开	备 注
单号数据类型
成员名	类 型	传址	数组	备 注
文本1	文本型
文本2	文本型
时间	文本型
id	整数型

.版本 2<br /> <br /> .数据类型 单号数据类型<br />     .成员 文本1, 文本型<br />     .成员 文本2, 文本型<br />     .成员 时间, 文本型<br />     .成员 id, 整数型

  

窗口程序集名	保 留	保 留	备 注
窗口程序集_启动窗口
变量名	类 型	数组	备 注
队列	鱼刺类_队列
线程池1	鱼刺类_线程池
线程池2	鱼刺类_线程池
线程	鱼刺类_线程操作
orderArr	单号数据类型	0

子程序名	返回值类型	公开	备 注
__启动窗口_创建完毕

UPS数据库连接.执行SQL (sql_insert, )

子程序名	返回值类型	公开	备 注
_按钮1_被单击

线程.创建 (&主线程, , )

子程序名	返回值类型	公开	备 注
主线程

变量名	类 型	静态	数组	备 注
temp_记录数量	整数型
n	整数型
i	逻辑型
m	整数型

按钮1.禁止 ＝ 真
' //模拟数据
重定义数组 (orderArr, 假, 10)
计次循环首 (取数组成员数 (orderArr), n)
置随机数种子 ()
orderArr [n].id ＝ n
orderArr [n].文本1 ＝ 到文本 (取随机数 (10000000, 999999999))
orderArr [n].文本2 ＝ 到文本 (取随机数 (10000000, 999999999))
orderArr [n].时间 ＝ 到文本 (取现行时间 ())
计次循环尾 ()
temp_记录数量 ＝ 取数组成员数 (orderArr)
' //创建压入多线程
线程池1.创建 (10, , , )
计次循环首 (temp_记录数量, n)
线程池1.投递任务 (&子线程1, n, )
计次循环尾 ()
' //创建弹出多线程
线程池2.创建 (1, , , )
计次循环首 (temp_记录数量, m)
线程池2.投递任务 (&子线程2, , )
计次循环尾 ()
判断循环首 (线程池1.取_是否完全空闲 () ＝ 假)  ' 等待任务全部执行完
_延时 (300)
判断循环尾 ()
判断循环首 (线程池2.取_是否完全空闲 () ＝ 假)  ' 等待任务全部执行完
_延时 (300)
判断循环尾 ()
线程池1.销毁 ()
线程池2.销毁 ()
调试输出 (“线程已销毁”)
按钮1.禁止 ＝ 假

子程序名	返回值类型	公开	备 注
子线程1
参数名	类 型	参考	可空	数组	备 注
参数1	整数型
参数2	整数型

变量名	类 型	静态	数组	备 注
局_分配到的任务	文本型
文本	文本型

文本 ＝ 压入JSON (“长文本测试中ABCDZDSSSSSSSSSSSSS长文本测试中ABCDZDSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS...”, orderArr [参数1].文本1, orderArr [参数1].文本2, orderArr [参数1].时间, 到文本 (参数1))
队列.压入文本 (文本)

子程序名	返回值类型	公开	备 注
子线程2
参数名	类 型	参考	可空	数组	备 注
参数1	整数型
参数2	整数型

变量名	类 型	静态	数组	备 注
局_分配到的任务	文本型

如果真 (队列.弹出文本 (局_分配到的任务) ＝ 假)
返回 ()

调试输出 (局_分配到的任务)

子程序名	返回值类型	公开	备 注
压入JSON	文本型		将数据转换成json格式，并返回
参数名	类 型	参考	可空	数组	备 注
文本1	文本型
文本2	文本型
文本3	文本型
时间戳	文本型
ID	文本型

变量名	类 型	静态	数组	备 注
json	类_json

json.置属性 (“['ups_track_info']”, 文本1, )
json.置属性 (“['master_tracking_number']”, 文本2, )
json.置属性 (“['sub_tracking_number']”, 文本3, )
json.置属性 (“['timestamp']”, 时间戳, )
json.置属性 (“['ID']”, ID, )
返回 (json.取数据文本 ())

i支持库列表	支持库注释
eDB	数据库操作支持库
spec	特殊功能支持库

.版本 2<br /> .支持库 eDB<br /> .支持库 spec<br /> <br /> .程序集 窗口程序集_启动窗口<br /> .程序集变量 队列, 鱼刺类_队列<br /> .程序集变量 线程池1, 鱼刺类_线程池<br /> .程序集变量 线程池2, 鱼刺类_线程池<br /> .程序集变量 线程, 鱼刺类_线程操作<br /> .程序集变量 orderArr, 单号数据类型, , "0"<br /> <br /> .子程序 __启动窗口_创建完毕<br /> <br /> UPS数据库连接.执行SQL (sql_insert, )<br /> <br /> <br /> .子程序 _按钮1_被单击<br /> <br /> 线程.创建 (&主线程, , )<br /> <br /> .子程序 主线程<br /> .局部变量 temp_记录数量, 整数型<br /> .局部变量 n, 整数型<br /> .局部变量 i, 逻辑型<br /> .局部变量 m, 整数型<br /> <br /> 按钮1.禁止 ＝ 真<br /> <br /> ' //模拟数据<br /> 重定义数组 (orderArr, 假, 10)<br /> .计次循环首 (取数组成员数 (orderArr), n)<br />     置随机数种子 ()<br /> <br />     orderArr [n].id ＝ n<br />     orderArr [n].文本1 ＝ 到文本 (取随机数 (10000000, 999999999))<br />     orderArr [n].文本2 ＝ 到文本 (取随机数 (10000000, 999999999))<br />     orderArr [n].时间 ＝ 到文本 (取现行时间 ())<br /> <br /> .计次循环尾 ()<br /> temp_记录数量 ＝ 取数组成员数 (orderArr)<br /> <br /> <br /> ' //创建压入多线程<br /> 线程池1.创建 (10, , , )<br /> .计次循环首 (temp_记录数量, n)<br />     线程池1.投递任务 (&子线程1, n, )<br /> .计次循环尾 ()<br /> <br /> ' //创建弹出多线程<br /> 线程池2.创建 (1, , , )<br /> .计次循环首 (temp_记录数量, m)<br />     线程池2.投递任务 (&子线程2, , )<br /> .计次循环尾 ()<br /> <br /> <br /> .判断循环首 (线程池1.取_是否完全空闲 () ＝ 假)  ' 等待任务全部执行完<br />     _延时 (300)<br /> .判断循环尾 ()<br /> <br /> .判断循环首 (线程池2.取_是否完全空闲 () ＝ 假)  ' 等待任务全部执行完<br />     _延时 (300)<br /> .判断循环尾 ()<br /> <br /> 线程池1.销毁 ()<br /> 线程池2.销毁 ()<br /> 调试输出 (“线程已销毁”)<br /> <br /> 按钮1.禁止 ＝ 假<br /> <br /> .子程序 子线程1<br /> .参数 参数1, 整数型<br /> .参数 参数2, 整数型<br /> .局部变量 局_分配到的任务, 文本型<br /> .局部变量 文本, 文本型<br /> <br /> 文本 ＝ 压入JSON (“长文本测试中ABCDZDSSSSSSSSSSSSS长文本测试中ABCDZDSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS...”, orderArr [参数1].文本1, orderArr [参数1].文本2, orderArr [参数1].时间, 到文本 (参数1))<br /> 队列.压入文本 (文本)<br /> <br /> .子程序 子线程2<br /> .参数 参数1, 整数型<br /> .参数 参数2, 整数型<br /> .局部变量 局_分配到的任务, 文本型<br /> <br /> .如果真 (队列.弹出文本 (局_分配到的任务) ＝ 假)<br />     返回 ()<br /> .如果真结束<br /> <br /> 调试输出 (局_分配到的任务)<br /> <br /> .子程序 压入JSON, 文本型, , 将数据转换成json格式，并返回<br /> .参数 文本1, 文本型<br /> .参数 文本2, 文本型<br /> .参数 文本3, 文本型<br /> .参数 时间戳, 文本型<br /> .参数 ID, 文本型<br /> .局部变量 json, 类_json<br /> <br /> json.置属性 (“['ups_track_info']”, 文本1, )<br /> json.置属性 (“['master_tracking_number']”, 文本2, )<br /> json.置属性 (“['sub_tracking_number']”, 文本3, )<br /> json.置属性 (“['timestamp']”, 时间戳, )<br /> json.置属性 (“['ID']”, ID, )<br /> 返回 (json.取数据文本 ())

队列.e (1.39 MB, 下载次数: 1)

7 天前 上传

点击文件名下载附件

右手胜过左手

adoue00 发表于 2025-7-15 01:18
明白了，还有一个小问题，请求API压入的速度快过弹出的速度，比如循环处理10000个文本，在5秒的时候压入 ...

  

变量名	类 型	静态	数组	备 注
堆句柄	整数型
内存数据大小	整数型

内存数据大小 ＝ 20 × 1024 × 1024  ' 20M
堆句柄 ＝ _堆取默认 ()
集_队列.置缓冲区阀值 (内存数据大小)
集_队列.重新初始化 (堆句柄)

.版本 2<br /> <br /> .局部变量 堆句柄, 整数型<br /> .局部变量 内存数据大小, 整数型<br /> <br /> 内存数据大小 ＝ 20 × 1024 × 1024  ' 20M<br /> 堆句柄 ＝ _堆取默认 ()<br /> 集_队列.置缓冲区阀值 (内存数据大小)<br /> 集_队列.重新初始化 (堆句柄)

他这个队列本来就提供这些功能的。你感觉数据大了就自己提供内存尺寸。程序窗口启动后设置一次就可以了(队列是程序集或全局变量)

右手胜过左手

逻辑问题，你在生成得到orderArr数据那一步后、把orderArr组装好、压入到队列中去(如果你有下标这些都可以一起拼接后压进去，自己用特定的分隔符拼接)；再创建线程池、控制好线程池来投递执行你的任务。如你压入到队列中的orderArr数据有2000、线程池创建10。你要循环复用这10个线程来投递你这2000个任务。任务内部才是真正：弹出队列的数据----分割数据(你怎么压入就怎么分割)----执行。

adoue00

右手胜过左手 发表于 2025-7-13 21:01
逻辑问题，你在生成得到orderArr数据那一步后、把orderArr组装好、压入到队列中去(如果你有下标这些都可以 ...

流程是这样没错，实际应用场景是通过访问API，将API的数据写到数据库中，这里就会涉及到速度的问题，因为访问API会有延迟，等数据返回才能处理，等写入SQL又是浪费了些时间。所以我开了两个线程池，第一个线程池负责访问API，第二个线程池负责将得到的数据，写入SQL。

凌哥

这样写很麻烦，绕来绕去的

右手胜过左手

adoue00 发表于 2025-7-13 21:39
流程是这样没错，实际应用场景是通过访问API，将API的数据写到数据库中，这里就会涉及到速度的问题，因为 ...

没有那么复杂，你二个线程池改成一个单独的死循环线程就可以了；让它死循环检查新队列、有数据就写到数据库中(这里可以累计数据、比如100条、1000条再写一次，不要频繁的每次都写).

流程：创建线程池、启动一个死循环的线程、线程池投递任务----得到数据(访问API)----压入数据到新队列；这里新队列会被启动死循环的线程检查----累计组合数据----写到数据库。


ps:死循环的控制由你的线程池来决定、线程池完全空闲了用程序集变量控制。
     本地写数据库没必要用多线程、一个线程就够了，你线程池没有访问完成，它都已经操作完了！

adoue00

右手胜过左手 发表于 2025-7-13 23:14
没有那么复杂，你二个线程池改成一个单独的死循环线程就可以了；让它死循环检查新队列、有数据就写到数据 ...

明白了，还有一个小问题，请求API压入的速度快过弹出的速度，比如循环处理10000个文本，在5秒的时候压入了5000个文本，但在弹出文本时，只弹到了2000个(SQL处理过慢)，还有3000文本数量在队列中，这种情况就会导致压入的文本过多，导致崩溃。要咋处理呢？

adoue00

右手胜过左手 发表于 2025-7-15 09:34
[e=0].版本 2

.局部变量 堆句柄, 整数型

非常感谢，这里的内存数据大小是指整个堆吗？我压入10000个文本，是压入10000文本*2的大小吗？

yuzhong

66666666666666666666666666666666666666

右手胜过左手

adoue00 发表于 2025-7-15 11:39
非常感谢，这里的内存数据大小是指整个堆吗？我压入10000个文本，是压入10000文本*2的大小吗？ ...

内存数据大小=字节大小；你压入的所有数据保存在这个大小的内存地址上。它默认是256个字节大小。自己提供20M(20971520个字节)；不用精确提供。20M随便够，内部还会自动增加。
堆是堆，一句话解释不清楚。