开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 2657|回复: 7
收起左侧

[分享] 另类多线程的写法,完全避免线程冲突。

[复制链接]
结帖率:94% (60/64)
发表于 2013-3-30 10:42:43 | 显示全部楼层 |阅读模式   湖北省黄冈市

前段时间写个多线程post采集程序,由于要采集指定网站几十万个页面,页面地址很雷同,只有几个关键的地方不一样。,。


后来程序采用多线程写法,无论怎么调试也没用。。新人,也不懂啥叫信号量......

所以捣鼓出一种多线程另类写法。。。。

下面说说方法,此方法是经过验证可行的!!

例如要采集10W个页面地址,(前提页面地址几乎一样,只有提交的参数不一样而已)

那么建立10个相同的子程序(此子程序是专门用户采集的子程序,10个子程序供10个线程用。)

在启动线程的之前,先把10W个要访问的网页分配好。也就是每个线程1000个地址。然后在启动线程,这样一来,可完美避免线程冲突问题!

个人原创另类方法,不喜勿喷~
结帖率:8% (2/25)
发表于 2013-5-29 04:06:34 | 显示全部楼层   浙江省杭州市
你这个根本不叫多线程吧 最多只能是调用子程序
回复 支持 反对

使用道具 举报

结帖率:74% (23/31)
发表于 2013-5-28 19:47:32 | 显示全部楼层   上海市上海市
这种分配是最基础的了..
回复 支持 反对

使用道具 举报

结帖率:76% (13/17)
发表于 2013-3-30 12:24:20 | 显示全部楼层   陕西省西安市
牛人、我以为有什么高招、
回复 支持 反对

使用道具 举报

结帖率:100% (14/14)

签到天数: 5 天

发表于 2013-3-30 12:09:22 | 显示全部楼层   湖南省怀化市
这种方法不知道我电脑能不能带得动额。
回复 支持 反对

使用道具 举报

结帖率:63% (5/8)

签到天数: 7 天

发表于 2013-3-30 10:49:50 | 显示全部楼层   江西省南昌市
看看   留下脚印  就不发表看法了
回复 支持 反对

使用道具 举报

结帖率:60% (3/5)
发表于 2013-3-30 10:48:54 | 显示全部楼层   广东省珠海市
沙发 不做评论
回复 支持 反对

使用道具 举报

结帖率:58% (7/12)
发表于 2013-3-30 10:48:32 | 显示全部楼层   广东省汕尾市
表示听不懂
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表