开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 8400|回复: 17
收起左侧

[源码分享] 多线程10分钟爬完精易论坛源码区板块全部帖子3W+数据

[复制链接]
结帖率:100% (1/1)
发表于 2018-3-18 22:19:20 | 显示全部楼层 |阅读模式   浙江省宁波市
爬取的格式是:帖子分类--帖子URL--帖子名--发帖日期--
这个正则表达式写了大半天-------



补充内容 (2018-3-25 21:14):
刚刚试了一下这个正则被和谐了!!需要重新写一个正则

多线程爬取精易论坛帖子.zip

2.64 KB, 下载次数: 121, 下载积分: 精币 -2 枚

1.jpg
2.jpg
结帖率:0% (0/1)

签到天数: 3 天

发表于 2019-4-28 18:18:46 | 显示全部楼层   浙江省金华市
1222222222新技能 GET
回复 支持 反对

使用道具 举报

结帖率:60% (3/5)
发表于 2018-10-28 19:05:52 | 显示全部楼层   江苏省南京市
学习多线程,谢了!
回复 支持 反对

使用道具 举报

发表于 2018-7-8 16:43:38 | 显示全部楼层   河北省廊坊市
你这个貌似没有写线程操作文件的保护机制,不然的话是不会出现文本有空白行的现象
回复 支持 反对

使用道具 举报

结帖率:33% (1/3)
发表于 2018-6-19 14:00:05 | 显示全部楼层   广西壮族自治区南宁市
学易新 发表于 2018-3-19 01:26
刚刚在优化线程,测试一次开766条线程,然后这个电脑ip被禁了,浏览器都打不开论坛了,要是买几万个ip代理 ...

单线程10W个说不定真的凉了。。。
回复 支持 反对

使用道具 举报

结帖率:30% (3/10)
发表于 2018-6-9 22:39:45 | 显示全部楼层   浙江省台州市
是PYTHON的,不是E的
回复 支持 反对

使用道具 举报

结帖率:30% (3/10)
发表于 2018-6-9 22:36:17 | 显示全部楼层   湖北省黄冈市
学习多线程。
回复 支持 反对

使用道具 举报

结帖率:100% (5/5)

签到天数: 2 天

发表于 2018-6-9 19:06:28 | 显示全部楼层   四川省成都市
这个厉害了。      
回复 支持 反对

使用道具 举报

结帖率:100% (7/7)

签到天数: 16 天

发表于 2018-6-4 10:57:30 | 显示全部楼层   河南省郑州市
学易新 发表于 2018-3-19 01:26
刚刚在优化线程,测试一次开766条线程,然后这个电脑ip被禁了,浏览器都打不开论坛了,要是买几万个ip代理 ...

论坛后台服务器有对应保护机制,不要小看它
回复 支持 反对

使用道具 举报

结帖率:100% (17/17)
发表于 2018-3-25 11:14:17 | 显示全部楼层   海南省万宁市
居然是个py 还以为是个e
回复 支持 反对

使用道具 举报

发表于 2018-3-25 11:11:02 | 显示全部楼层   广东省佛山市
谢谢分享。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表