Python自学记录--多线程糗事百科爬虫

菠萝儿

1. #线程库
   
2. import threading
   
3. #队列
   
4. import queue
   
5. import requests
   
6. import time
   
7. from lxml import etree
   
8. 
   
9. #采集网页线程--爬取段子列表所在的网页，放进队列
   
10. class Thread1(threading.Thread):
    
11.    
    
12.     def __init__(self, threadName,pageQueue,dataQueue):
    
13.         threading.Thread.__init__(self)
    
14.         self.threadName = threadName #线程名
    
15.         self.pageQueue = pageQueue #页码队列
    
16.         self.dataQueue = dataQueue #数据队列
    
17.         self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
    
18. 
    
19.     def run(self):
    
20.         print("启动线程"+self.threadName)
    
21.         while not flag1:
    
22.             try:
    
23.                 page=self.pageQueue.get()
    
24.                 url="https://www.qiushibaike.com/8hr/page/"+str(page)+"/"
    
25.                 content=requests.get(url,headers=self.headers).text
    
26.                 time.sleep(0.5)
    
27.                 self.dataQueue.put(content) #将数据放入队列中
    
28.             except Exception as e:
    
29.                 pass
    
30. 
    
31.         print("结束线程"+self.threadName)
    
32. 
    
33. 
    
34. 
    
35. #解析网页线程--从队列中拿到列表网页，进行解析，并储存到本地
    
36. class Thread2(threading.Thread):
    
37.    
    
38.     def __init__(self, threadName,dataQueue,filename):
    
39.         threading.Thread.__init__(self)
    
40.         self.threadName = threadName
    
41.         self.dataQueue = dataQueue
    
42.         self.filename = filename
    
43. 
    
44.     def run(self):
    
45.         print("启动线程"+self.threadName)
    
46.         while not flag2:
    
47.             try:
    
48.                 data1=self.dataQueue.get()
    
49.                 html=etree.HTML(data1)
    
50.                 node_list=html.xpath('//div//a[@class="recmd-content"]')
    
51.                 for node in node_list:
    
52.                     data=node.text
    
53.                     self.filename.write(data+"\n")
    
54.             except Exception as e:
    
55.                 pass
    
56. 
    
57.         print("结束线程"+self.threadName)
    
58. 
    
59. flag1=False #判断页码队列中是否为空
    
60. flag2=False #判断数据队列中是否为空
    
61. 
    
62. def main():
    
63.     #页码队列
    
64.     pageQueue=queue.Queue(2)  #页码最大为10
    
65. 
    
66.     for i in range(1,11):
    
67.         pageQueue.put(i)
    
68. 
    
69.     #存放采集结果的数据队列
    
70.     dataQueue=queue.Queue()
    
71. 
    
72.     #保存到本地的文件
    
73.     filename=open(r"D:\代码保存\duanzi.txt","a")
    
74. 
    
75.     #启动线程
    
76.     t1=Thread1("采集线程",pageQueue,dataQueue)
    
77.     t1.start()
    
78.     t2=Thread2("解析线程",dataQueue,filename)
    
79.     t2.start()
    
80. 
    
81.     #当padeQueue为空时，结束采集线程
    
82.     while not pageQueue.empty():
    
83.         pass
    
84. 
    
85.     global flag1
    
86.     flag1=True
    
87. 
    
88.     #当padeQueue为空时，结束采集线程
    
89.     while not pageQueue.empty():
    
90.         pass
    
91. 
    
92.     global flag2
    
93.     flag2=True
    
94. 
    
95.     t1.join()
    
96.     t2.join()
    
97. 
    
98.     filename.close()
    
99. 
    
100.     print("结束！")
     
101. 
     
102. if __name__ == '__main__':
     
103.     main()

复制代码

菠萝儿

汉族 发表于 2021-9-26 23:16
那个 问问 python  访问 快吗？  现在很多访问需要 CURL 才能获取数据

师兄，这个不懂，我刚开始学习，没了解到太深

汉族

那个 问问 python  访问 快吗？  现在很多访问需要 CURL 才能获取数据