表情包采集

大兔崽子

1. #  表情采集
   
2. import requests  # 远程请求模块
   
3. import json  # json 解析模块
   
4. import time  # 时间模块
   
5. import threadpool  # 线程池模块
   
6. import os   # 文件操作模块
   
7. import re   #正则模块
   
8. 
   
9. #  采集配置设置
   
10. page = 1  # 采集多少页
    
11. threaNumber = 10  # 启用的线程数量
    
12. Target_link = 'https://www.doutula.com/photo/list/'  # 目标地址
    
13. path_photo = './face_img'  # 表情包存放文件夹
    
14. 
    
15. #   检查目标文件夹是否存在
    
16. if not os.path.exists(path_photo):
    
17.     os.makedirs(path_photo)  # 自动创建
    
18.    
    
19. #   获取某个路径的后缀名
    
20. def file_extension(path):
    
21.     return os.path.splitext(path)[1]
    
22. 
    
23. #   获取斗图列表
    
24. def face_list(page=1):
    
25.     User_Agent = 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 wechatdevtools/1.02.1811270 MicroMessenger/6.7.3 Language/zh_CN webview/ token/b8acb8f2802426934a5f1f2c447882f2'
    
26.     #   假装自己是好人
    
27.     headers = {
    
28.         'User-Agent': User_Agent,
    
29.         'content-type': 'text/html;charset = UTF-8',
    
30.         'Accept': 'application/json, text/javascript, */*; q=0.01'
    
31.     }
    
32.     #   请求本页  
    
33.     r = requests.get(Target_link+"?page=%s" % page, headers=headers)
    
34.     pattern = r'<img[\s\S]*?data-original="(.*?)" alt="(.*?)"'
    
35.     img_list = re.findall(pattern, r.text, re.M)  # 正则图片列表
    
36.     for (path, name) in img_list:
    
37.         exten = file_extension(path)
    
38.         with open(path_photo + '/%s%s' % (name, exten), 'wb') as f:
    
39.             #   远程请求 获取图片资源  并写出
    
40.             f.write(requests.get(path, headers=headers).content)  #请求图片 并下载回来、
    
41. 
    
42. #  批量下载的图片。。。本来要多线程下载的  不过 要吃饭了。。
    
43. #  其实获取图片列表挺快的  慢的是下载图片这个环境  应该在这个环节套个线程      
    
44. for i in range(page):
    
45.     face_list(i)
    

复制代码

其实是分享源码来着  不过 没找到对应的分类  emmmm  好像没有缩进了  我的天。。。。。。。

ideologism

加多进程会快点，多线程进入只会进入一个，因为有gil锁

大兔崽子

ideologism 发表于 2019-1-6 12:27
加多进程会快点，多线程进入只会进入一个，因为有gil锁

我没试过 还以为能嵌套多线程的  受教了

ideologism

大兔崽子 发表于 2019-1-10 09:34
我没试过 还以为能嵌套多线程的  受教了

我也很菜共同学习吧

betacat2048

感觉就是个爬虫，可以考虑用线程池模型，然后看一下能不能搞到ip池或者用tor，防止ip被封

天涯拖拖

main
我线程池不是会用智慧启动线程

Soul2018

0.00.00.00.00.0