Python自学记录--爬取贴吧图片

菠萝儿

1. #图片爬虫
   
2. import urllib
   
3. import urllib.request
   
4. from lxml import etree
   
5.   
   
6. class Spider(object):
   
7.     def __init__(self):
   
8.         self.tiebaName="java"
   
9.         self.beginPage=1
   
10.         self.endPage=3
    
11.         self.url="http://tieba.baidu.com/f?"
    
12.         self.ua_header={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}
    
13.         self.fileName=1
    
14.   
    
15.     #构造url
    
16.     def tiebaSpider(self):
    
17.         for page in range(self.beginPage,self.endPage+1):
    
18.             pn=(page-1)*50
    
19.             wo={'pn':pn,'kw':self.tiebaName}
    
20.             word=urllib.parse.urlencode(wo)
    
21.             myurl=self.url+word
    
22.             self.loadPage(myurl)
    
23.   
    
24.     #爬取页面内容
    
25.     def loadPage(self,url):
    
26.         req=urllib.request.Request(url,headers=self.ua_header)
    
27.         data=urllib.request.urlopen(req).read()
    
28.   
    
29.         html=etree.HTML(data)
    
30.         links=html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
    
31.   
    
32.         for link in links:
    
33.             link="http://tieba.baidu.com"+link
    
34.             self.loadImages(link)
    
35.   
    
36.     #爬取帖子详情页，获取图片链接
    
37.     def loadImages(self,link):
    
38.         req=urllib.request.Request(link,headers=self.ua_header)
    
39.         data=urllib.request.urlopen(req).read()
    
40.         html=etree.HTML(data)
    
41.         links=html.xpath('//img[@class="BDE_Image" ]/@src')
    
42.         for imageslink in links:
    
43.             self.writeImages(imageslink)
    
44.   
    
45.     #通过图片所在链接，爬取图片并保存到本地
    
46.     def writeImages(self,imagesLink):
    
47.         print("正在存储图片：",self.fileName,"............")
    
48.         image=urlib.request.urlopen(imagesLink).read()
    
49.          
    
50.   
    
51.         file=open(r"D:\代码保存\保存图片\"+str(self.fileName)+".jpg","wb")
    
52.   
    
53.         file.write(image)
    
54.   
    
55.         file.close()  
    
56.   
    
57.         self.fileName+=1
    
58.   
    
59. if __name__ == '__main__':
    
60.      
    
61.     mySpider=Spider()
    
62.   
    
63.     mySpider.tiebaSpider()

复制代码

sd3970566

很平常啊，。虽然不会PY但是看到实现的内容。 感觉易语言也能实现这些··