python作业

afd

python作业太多了,希望论坛好友帮忙搞下,非常感谢

15【程序设计题】：

现在需要对IMDB数据库的最佳电影榜单进行爬虫，网页布局如下图所示，请根据要求完成相关题目

1. 该网站的网址为http://imdb.kxapps.com/default.aspx?page=1，请利用request模块完成网页源码的抓取，抓取过程中并设置用户代理。（6分）

2. 利用lxml库函数解析网页源码，并利用xpath获取第一部电影肖申克救赎的排名、电影名称，导演，主演，类型、剧情简介与电影评分信息（14分）

3. 在数据解析的过程中发现，电影上映年份与电影名放在了一起，请利用正则表达式从上一题获取到的电影名称数据中提取中文电影名称、上映年份。（6分）

4. 完成第一题网址中所有电影（共14部）的数据解析提取，数据内容为：中文电影名称、导演、主演、类型、剧情简介、上映年份、评分（10分）

tangqixuang

我就宠你吧

Sin3973

我好奇，你是Tao宝上还是哪接的单，然后来论坛拿精币找人做吗？

xiaoyu1986

Sin3973 发表于 2023-11-29 17:19
我好奇，你是Tao宝上还是哪接的单，然后来论坛拿精币找人做吗？

坦白讲，他这个是学Python时老师教的最基础的爬虫课程。
估计这个货就是懒。。。

afd

Sin3973 发表于 2023-11-29 17:19
我好奇，你是Tao宝上还是哪接的单，然后来论坛拿精币找人做吗？

大学作业,备考忙

xiaoyu1986

afd 发表于 2023-11-29 17:26
大学作业,备考忙

大学还学这个啊？还招生不？有啥要求么？

月下美孤

xpath


拿列表:  /html/body/div/div/div[2]/div[2]/div[3]/ul[2]/li

歌名数组：/html/body/div/div/div[2]/div[2]/div[3]/ul[2]/li/div/div[3]/span/a

歌手数组：/html/body/div/div/div[2]/div[2]/div[3]/ul[2]/li/div/div[4]/a

时长数组：/html/body/div/div/div[2]/div[2]/div[3]/ul[2]/li/div/div[5]



饭喂到你嘴里！

月下美孤

月下美孤 发表于 2023-11-29 17:45
xpath

你真是个低素质的小白，对不起你名人堂的称号


补充内容 (2023-11-29 18:00):
学Python老师没叫你用xpath模块？

tangqixuang

import requests
from lxml import etree
import re

url = 'http://imdb.kxapps.com/default.aspx?page=1'

# 设置用户代理
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

response = requests.get(url, headers=headers)

# 检查请求状态
if response.status_code == 200:
    html = response.text
else:
    print("页面内容获取失败！")

# 使用lxml解析网页源码
tree = etree.HTML(html)

# 解析所有电影的数据
movies_data = []

# 获取电影总数
movie_list = tree.xpath('//div[@class="top_list"]/ul/li')

for movie in movie_list:
    rank = movie.xpath('.//div[@class="number"]/em/text()')[0]
    movie_name = movie.xpath('.//h2/a/text()')[0]
    #print(movie_name)
    director = movie.xpath('.//p[1]/span/text()')[0]
    actors = movie.xpath('.//p[2]/span/text()')[0].replace('\xa0\xa0', ' ')
    genre = movie.xpath('.//p[3]/span/text()')[0]
    summary = movie.xpath('.//p[@class="mt3"]/text()')[0].strip().replace('\r\n', '')
    rating = movie.xpath('.//div[@class="mov_point"]/b[@class="point"]/@title')[0]

    # 使用正则表达式提取中文电影名称和上映年份
    movie_name = movie_name.strip()  # 去除字符串两端的空格
    pattern = r'([\u4e00-\u9fff]+)\s.*\((\d{4})\)'
    match = re.match(pattern, movie_name)
    if match:
        chinese_name = match.group(1)
        #print(chinese_name)
        release_year = match.group(2)
    else:
        chinese_name = None
        release_year = None

    movies_data.append({
        "排名": rank,
        "中文电影名称": chinese_name,
        "上映年份": release_year,
        "导演": director,
        "主演": actors,
        "类型": genre,
        "剧情简介": summary,
        "评分": rating
    })

# 打印所有电影的数据
for movie in movies_data:
    print(movie)