利用urllib和xpath爬取电影播放地址

艾鱼

好久没有写代码了，今天闲着就来写写这个。

若写的不好请大神指点，谢谢！

1. from urllib import request
   
2. from lxml import etree
   
3. from pprint import pprint
   
4. 
   
5. class GetMoviePlay:
   
6. 
   
7.     """
   
8.         # 取电影标题       '//*[@id="data_list"]/tr/td[1]/a'
   
9.         # 取电影页面链接    '//*[@id="data_list"]/tr/td[1]/a/@href'
   
10.         # 取电影类型       '//*[@id="data_list"]/tr/td[2]/a'
    
11.         # 取电影地区       '//*[@id="data_list"]/tr/td[3]/p/font'
    
12.         # 取连载状态       '//*[@id="data_list"]/tr/td[4]/span/font'
    
13.         # 取更新时间       '//*[@id="data_list"]/tr/td[5]/font'
    
14.         # 取当前页码详情    '/html/body/div[4]/div[1]/div/text()[1]'
    
15. 
    
16.         # 获取真实链接 /html/body/div[4]/div[2]/div/div/ul/li[2]/text()
    
17.     """
    
18. 
    
19.     def __init__(self,page):
    
20.         self.__url = 'http://yongjiuzy.cc/?m=vod-type-id-6-pg-%d.html' % page
    
21.         self.__name = (
    
22.             '//*[@id="data_list"]/tr/td[1]/a/text()',
    
23.             '//*[@id="data_list"]/tr/td[1]/a/@href',
    
24.             '//*[@id="data_list"]/tr/td[2]/a/text()',
    
25.             '//*[@id="data_list"]/tr/td[3]/p/font/text()',
    
26.             '//*[@id="data_list"]/tr/td[4]/span/font/text()',
    
27.             '//*[@id="data_list"]/tr/td[5]/font/text()',
    
28.             '/html/body/div[4]/div[1]/div/text()[1]',
    
29.             '/html/body/div[4]/div[1]/div/div[2]/li[1]/text()[2]',
    
30.             '/html/body/div[4]/div[2]/div/div/ul/li[2]/text()'
    
31.         )
    
32. 
    
33.     @property
    
34.     def movie_info_dict(self):
    
35.         res = request.Request(self.__url)
    
36.         response = request.urlopen(res).read()
    
37.         response = etree.HTML(response)
    
38.         # 取电影标题
    
39.         m_cont_list_tmp = response.xpath(self.__name[0])
    
40.         m_cont_list = []
    
41. 
    
42.         # 解析电影标题，只取奇数的主标题
    
43.         for i in range(len(m_cont_list_tmp)):
    
44.             if i % 2 == 0:
    
45.                 m_cont_list.append(m_cont_list_tmp[i])
    
46. 
    
47.         # 取电影页面链接
    
48.         m_url_list = response.xpath(self.__name[1])
    
49. 
    
50.         # 拼接url
    
51.         for i in range(len(m_url_list)):
    
52.             m_url_list[i] = 'http://yongjiuzy.cc/' + m_url_list[i]
    
53. 
    
54.         # 取电影类型
    
55.         m_type_list = response.xpath(self.__name[2])
    
56. 
    
57.         # 取电影地区       '//*[@id="data_list"]/tr/td[3]/p/font'
    
58.         m_city_list = response.xpath(self.__name[3])
    
59. 
    
60.         # 取连载状态       '//*[@id="data_list"]/tr/td[4]/span/font'
    
61.         m_state_list = response.xpath(self.__name[4])
    
62. 
    
63.         # 取更新时间       '//*[@id="data_list"]/tr/td[5]/font'
    
64.         m_time_list = response.xpath(self.__name[5])
    
65. 
    
66.         # 取当前页码详情    '/html/body/div[4]/div[1]/div/text()[1]'
    
67.         m_this_page = response.xpath(self.__name[6])
    
68. 
    
69.         return {'context':m_cont_list,
    
70.                 'url':m_url_list,
    
71.                 'type':m_type_list,
    
72.                 'city':m_city_list,
    
73.                 'state':m_state_list,
    
74.                 'time':m_time_list,
    
75.                 'thisPage':m_this_page
    
76.                 }
    
77. 
    
78. 
    
79. 
    
80.     def getMovieTrue(self,url):
    
81.         res = request.Request(url)
    
82.         response = request.urlopen(res).read()
    
83.         response = etree.HTML(response)
    
84. 
    
85.         # 电影名称      /html/body/div[4]/div[1]/div/div[2]/li[1]/text()[2]
    
86.         m_true_context = response.xpath(self.__name[7])
    
87. 
    
88.         # 获取真实链接 /html/body/div[4]/div[2]/div/div/ul/li[2]/text()
    
89.         m_true_url = response.xpath(self.__name[8])
    
90. 
    
91.         # 返回列表数据
    
92.         return [m_true_context[0],m_true_url[0]]
    
93. 
    
94. 
    
95. if __name__ == '__main__':
    
96. 
    
97.     a = GetMoviePlay(1)   # 初始化一个页码
    
98. 
    
99.     # 返回了一堆数据，其实我就只要了url
    
100.     url = a.movie_info_dict['url']
     
101. 
     
102.     for i in range(len(url)):
     
103.         info = a.getMovieTrue(url[i])
     
104.         pprint(info)
     
105. 
     
106. 
     
107. 
     

复制代码

ferrisy

学习中，谢谢分享

wqy88

你太油菜了，不扶墙就扶你!

wqy88

感谢分享，论坛有您更精彩！

wqy88

真有创意，谢谢分享。

wqy88

真有创意，谢谢分享。

wqy88

鐪熸湁鍒涙剰锛岃阿璋㈠垎浜

wqy88

鐪熸湁鍒涙剰锛岃阿璋㈠垎浜

wqy88

鐪熸湁鍒涙剰锛岃阿璋㈠垎浜

wqy88

%09%B8%*FBD%F4%CA%D5%B2%D8%C6%F0%C0%B4%A3%AC%D0%BB%D0%BB%3F%3F%3F