[python] 第一个爬虫, 爬妹子写真集图片

剑齿虎233

效果图

版本以及需要用到的第三方库

• python 2.7
• bs4 (安装命令: pip install bs4)
  -
  

代码

1. #!/usr/bin/env python
   
2. #coding:UTF-8
   
3. 
   
4. #脚本名称: 爬妹纸写真图
   
5. #脚本作者: 剑齿虎
   
6. #脚本版本: python2.7
   
7. #第三方库: BeautifulSoup
   
8. 
   
9. import urllib2
   
10. import os
    
11. from bs4 import BeautifulSoup
    
12. import sys
    
13. reload(sys)
    
14. sys.setdefaultencoding('gbk') #使用GBK编码
    
15. 
    
16. #函数: 进入下载写真集
    
17. def DownloadMz(url):
    
18.     html    =   urllib2.urlopen(url).read()
    
19.     dom_    =   BeautifulSoup(html, 'html.parser') #解析为类似dom的对象
    
20. 
    
21.     title   =   dom_.body.select(".main-title")[0].string #找元素:标题
    
22.     count   =   dom_.body.select(".pagenavi")[0].findAll('a')[4].span.string #找元素:页数
    
23. 
    
24.     #打印信息
    
25.     print('title:' + title)
    
26.     print('count:' + count)
    
27.     print('url:' + url + "\n------------------")
    
28. 
    
29.     #保存图片
    
30.     for i in range(1,int(count)):
    
31.         get_url     =   url + "/" + str(i) #分页地址
    
32.         save_path   =   os.getcwd() + "\\Download\" + str(title)  #保存目录
    
33. 
    
34.         #创建保存目录, 如果不存在
    
35.         if os.path.exists(save_path)==False:
    
36.             os.mkdir(save_path)
    
37. 
    
38.         #保存图片
    
39.         save_path   =   save_path + "\" + str(i) + ".jpg" #保存文件名
    
40.         SaveImage(get_url, save_path)
    
41.         print("-- OK: "+ save_path)
    
42. 
    
43.     print("---------- END -----------\n\n")
    
44. 
    
45. 
    
46. #函数: 保存每页图片
    
47. def SaveImage(get_url, savePath):
    
48.     #获取图片地址
    
49.     html    =   urllib2.urlopen(get_url).read()
    
50.     dom_    =   BeautifulSoup(html, 'html.parser')
    
51.     src     =   dom_.select(".main-image")[0].p.a.img['src']
    
52. 
    
53.     #保存呀保存
    
54.     f       =   open(savePath, 'wb')
    
55.     f.write(urllib2.urlopen(src).read())
    
56.     f.close()
    
57. 
    
58. 
    
59. 
    
60. 
    
61. 
    
62. 
    
63. 
    
64. #来啊~ 快活呀
    
65. url     =   "http://www.mzitu.com/japan/"
    
66. html    =   urllib2.urlopen(url).read()
    
67. bs      =   BeautifulSoup(html, 'html.parser')
    
68. pages   =   bs.body.select(".page-numbers")[5]['href'] #取总页数html
    
69. 
    
70. #取爬取页面分页总数
    
71. cur_end     =   pages.rindex("/", 0)
    
72. cur_start   =   pages.rindex("/", 0, cur_end) + 1
    
73. page_count  =   pages[cur_start:cur_end] #页数
    
74. 
    
75. for i in range(1, int(page_count)):
    
76.     page_url    =   url + "/page/" + str(i) #分页url
    
77.     print("*** PAGE *** " + str(i) + "/" + str(page_count) + " $ " + page_url)
    
78. 
    
79.     dom_        =   BeautifulSoup(urllib2.urlopen(page_url).read(), 'html.parser') #取分页dom
    
80.     uls     =   bs.body.findAll('ul',{'id':'pins'})[0].findAll("li") #获取写真集列表
    
81. 
    
82.     #进入下载写真集
    
83.     for li in uls:
    
84.         DownloadMz(str(li.span.a['href']))

复制代码

目前正在学习Python, 为了更能快速学到知识. 最好就是实践一个小项目, 一般看文档一般搜百度一边写程序, 虽说踩的坑不少, 但也积累了经验.

这个程序还存在个问题, 就是”写真集”没有分页, 下载完第一页就结束了. 有兴趣的小伙伴可以改改

“脚本目录需要新建一个 Download 目录, 脚本不会自己创建这个目录的~”

yuanqun

python2.7与python3.6差别太大，用3.6无法运行，thml通不过。

`Xk

火钳刘明

SalHe

最近也开始入坑Python  给楼主点个赞

雪山凌狐

可以，第一个爬虫就那么迫不及待哈哈~支持~

eoo

......................