开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 15293|回复: 4
收起左侧

[源码分享] 第一天写出的爬虫,看教程抓视频,就是有点慢

[复制链接]
结帖率:91% (10/11)
发表于 2020-4-20 22:20:27 | 显示全部楼层 |阅读模式   广东省惠州市
import requests
import time
adr="https://leshi.cdn-zuyida.com/20180121/KXHDAHhM/800kb/hls/OB71q1S1905000.ts"
adr1=adr[:-7]
a=5000
for a in range(4999,5301,1):
    a=a+1
    adr2 = adr1 + str(a) + ".ts"
    m = requests.get(adr2)
    print(adr2)
    with open("C:/Users/Administrator/Desktop/py1/"+str(a)+".ts","wb") as f:
      f.write(m.content)
      time.sleep(2)之前用request,很容易卡死,不动,感觉还是requests好用点,这是斗罗大陆的第一集在某网站抓的,整整弄了一个下午。都是ts文件,可以用copy /b C:\Users\Administrator\Desktop\py1\*.ts C:\Users\Administrator\Desktop\py\a.ts保存*.bat合并成一个ts
结帖率:85% (46/54)
发表于 2020-12-27 15:52:18 | 显示全部楼层   广东省广州市
你这是单线程下载.ts文件吧,我也是初学Python,不知道为什么你的循环从4999开始,但还是推荐你以后写代码的时候多写一点注释吧,方便以后自己理解代码。
回复 支持 反对

使用道具 举报

结帖率:80% (12/15)

签到天数: 9 天

发表于 2020-4-25 11:48:29 | 显示全部楼层   四川省成都市
支持开源~!感谢分享
回复 支持 反对

使用道具 举报

结帖率:100% (4/4)
发表于 2020-4-25 10:18:37 | 显示全部楼层   浙江省宁波市
感谢楼主分享,
但是为什么没有中文备注说明啊,
我其实也是研究了一下爬虫,
还是云里雾里,
回复 支持 反对

使用道具 举报

结帖率:91% (10/11)
 楼主| 发表于 2020-4-20 23:00:24 | 显示全部楼层   广东省惠州市
from urllib import request
import time
url="https://leshi.cdn-zuyida.com/20180121/KXHDAHhM/800kb/hls/OB71q1S1905000.ts"
url1=url[:-7]
print(url1)
#headers=[
#"user-agent" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36"]
a=5000
for a in range(4999,5301,1):
a=a+1
print(a)
url2=url1+str(a)+".ts"
request.urlretrieve(url2, "C:/Users/Administrator/Desktop/py/" + str(a) + ".ts")
time.sleep(2)
这个是用request,很容易卡死,不动,都是自己摸索的,
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表