[我的爬虫日记01]爬虫获取豆瓣网Top250

易飞鸟

  

窗口程序集名	保 留	保 留	备 注
程序集1

子程序名	返回值类型	公开	备 注
_启动子程序	整数型		本子程序在程序启动后最先执行

变量名	类 型	静态	数组	备 注
url_all	文本型		0
i	整数型
电影名	文本型

' 第一页https://movie.douban.com/top250?start=0
' 第二页https://movie.douban.com/top250?start=25
' 第三页https://movie.douban.com/top250?start=50
fputs (1, “开始获取...” ＋ #换行符 )
取全部详情页链接 (“https://movie.douban.com/top250”, url_all)
.for (1, GetAryElementCount (url_all), 1, i)
fputs (1, url_all [i] ＋ #换行符 )
取影片信息 (url_all [i])
.next ()
fputs (1, “获取完成!” ＋ #换行符 )
fgets ()
return (0)  ' 可以根据您的需要返回任意数值

子程序名	返回值类型	公开	备 注
取全部详情页链接	整数型
参数名	类 型	参考	可空	数组	备 注
url	文本型
url_all	文本型

变量名	类 型	静态	数组	备 注
html_str	文本型
grid_view_str	文本型
url_arr	文本型		0
i	整数型
page	整数型
full_url	文本型

.for (1, 250, 25, page)
' 取网页源码并转码
full_url ＝ url ＋ “?start=” ＋ str (page)
html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )
html_str ＝ Utf8ToGb2312 (html_str)
' 获取中间链接列表数据
grid_view_str ＝ GetMidText (html_str, #left_grid_view, #right_grid_view, , )
GetMidText_批量 (grid_view_str, #left_a, #right_a, url_arr, , , , , , , )
.for (1, GetAryElementCount (url_arr), 1, i)
AddElement (url_all, url_arr [i])
.next ()
.next ()
return (0)

子程序名	返回值类型	公开	备 注
取影片信息
参数名	类 型	参考	可空	数组	备 注
url	文本型

变量名	类 型	静态	数组	备 注
html_str	文本型
电影名	文本型
年份	文本型
导演	文本型
attrs_html	文本型
主演数组	文本型		0
i	整数型
类型数组	文本型		0
地区	文本型
语言	文本型
评分	文本型

' ===============获取===================
html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )
html_str ＝ Utf8ToGb2312 (html_str)
电影名 ＝ GetMidText (html_str, #left_电影名, #right_电影名, , )
年份 ＝ GetMidText (html_str, #left_年份, #right_年份, , )
导演 ＝ GetMidText (html_str, #left_导演, #right_导演, , )
' 主演
GetMidText_批量 (html_str, #left_主演, #right_主演, 主演数组, , , , , , , )
' 类型
GetMidText_批量 (html_str, #left_类型, #right_类型, 类型数组, , , , , , , )
地区 ＝ GetMidText (html_str, #left_地区, #right_地区, , )
语言 ＝ GetMidText (html_str, #left_语言, #right_语言, , )
评分 ＝ GetMidText (html_str, #left_评分, #right_评分, , )
' ===============打印===================
fputs (1, “电影名:” ＋ 电影名 ＋ #换行符 )
fputs (1, “年份:” ＋ 年份 ＋ #换行符 )
fputs (1, “导演:” ＋ 导演 ＋ #换行符 )
fputs (1, “主演:”)
.for (1, GetAryElementCount (主演数组), 1, i)
.ife (i ＜ 3)
fputs (1, 主演数组 [i] ＋ “/”)
break ()

.next ()
fputs (1, #换行符 )
fputs (1, “类型:”)
.for (1, GetAryElementCount (类型数组), 1, i)
.ife (i ＜ 3)
fputs (1, 类型数组 [i] ＋ “/”)
break ()

.next ()
fputs (1, #换行符 )
fputs (1, “地区:” ＋ 地区 ＋ #换行符 )
fputs (1, “语言:” ＋ 语言 ＋ #换行符 )
fputs (1, “评分:” ＋ 评分 ＋ #换行符 )
fputs (1, #换行符 )

.版本 2<br /> <br /> .程序集 程序集1<br /> <br /> .子程序 _启动子程序, 整数型, , 本子程序在程序启动后最先执行<br /> .局部变量 url_all, 文本型, , "0"<br /> .局部变量 i, 整数型<br /> .局部变量 电影名, 文本型<br /> <br /> <br /> ' 第一页https://movie.douban.com/top250?start=0<br /> ' 第二页https://movie.douban.com/top250?start=25<br /> ' 第三页https://movie.douban.com/top250?start=50<br /> <br /> fputs (1, “开始获取...” ＋ #换行符)<br /> <br /> 取全部详情页链接 (“https://movie.douban.com/top250”, url_all)<br /> .for (1, GetAryElementCount (url_all), 1, i)<br />     fputs (1, url_all <i> ＋ #换行符)<br />     取影片信息 (url_all <i>)<br /> .next ()<br /> <br /> fputs (1, “获取完成!” ＋ #换行符)<br /> fgets ()<br /> return (0)  ' 可以根据您的需要返回任意数值<br /> <br /> <br /> .子程序 取全部详情页链接, 整数型<br /> .参数 url, 文本型<br /> .参数 url_all, 文本型, 参考 数组<br /> .局部变量 html_str, 文本型<br /> .局部变量 grid_view_str, 文本型<br /> .局部变量 url_arr, 文本型, , "0"<br /> .局部变量 i, 整数型<br /> .局部变量 page, 整数型<br /> .局部变量 full_url, 文本型<br /> <br /> .for (1, 250, 25, page)<br />     ' 取网页源码并转码<br />     full_url ＝ url ＋ “?start=” ＋ str (page)<br />     html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )<br />     html_str ＝ Utf8ToGb2312 (html_str)<br /> <br />     ' 获取中间链接列表数据<br />     grid_view_str ＝ GetMidText (html_str, #left_grid_view, #right_grid_view, , )<br />     GetMidText_批量 (grid_view_str, #left_a, #right_a, url_arr, , , , , , , )<br /> <br />     .for (1, GetAryElementCount (url_arr), 1, i)<br />         AddElement (url_all, url_arr <i>)<br />     .next ()<br /> .next ()<br /> return (0)<br /> <br /> <br /> .子程序 取影片信息<br /> .参数 url, 文本型<br /> .局部变量 html_str, 文本型<br /> .局部变量 电影名, 文本型<br /> .局部变量 年份, 文本型<br /> .局部变量 导演, 文本型<br /> .局部变量 attrs_html, 文本型<br /> .局部变量 主演数组, 文本型, , "0"<br /> .局部变量 i, 整数型<br /> .局部变量 类型数组, 文本型, , "0"<br /> .局部变量 地区, 文本型<br /> .局部变量 语言, 文本型<br /> .局部变量 评分, 文本型<br /> <br /> ' ===============获取===================<br /> <br /> html_str ＝ HttpRequestRetText (url, 0, , , , , , , , , )<br /> html_str ＝ Utf8ToGb2312 (html_str)<br /> <br /> 电影名 ＝ GetMidText (html_str, #left_电影名, #right_电影名, , )<br /> 年份 ＝ GetMidText (html_str, #left_年份, #right_年份, , )<br /> 导演 ＝ GetMidText (html_str, #left_导演, #right_导演, , )<br /> ' 主演<br /> GetMidText_批量 (html_str, #left_主演, #right_主演, 主演数组, , , , , , , )<br /> ' 类型<br /> GetMidText_批量 (html_str, #left_类型, #right_类型, 类型数组, , , , , , , )<br /> 地区 ＝ GetMidText (html_str, #left_地区, #right_地区, , )<br /> 语言 ＝ GetMidText (html_str, #left_语言, #right_语言, , )<br /> 评分 ＝ GetMidText (html_str, #left_评分, #right_评分, , )<br /> <br /> ' ===============打印===================<br /> <br /> fputs (1, “电影名:” ＋ 电影名 ＋ #换行符)<br /> fputs (1, “年份:” ＋ 年份 ＋ #换行符)<br /> fputs (1, “导演:” ＋ 导演 ＋ #换行符)<br /> <br /> fputs (1, “主演:”)<br /> .for (1, GetAryElementCount (主演数组), 1, i)<br />     .ife (i ＜ 3)<br />         fputs (1, 主演数组 <i> ＋ “/”)<br />     .否则<br />         break ()<br />     .如果结束<br /> <br /> .next ()<br /> fputs (1, #换行符)<br /> <br /> fputs (1, “类型:”)<br /> .for (1, GetAryElementCount (类型数组), 1, i)<br />     .ife (i ＜ 3)<br />         fputs (1, 类型数组 <i> ＋ “/”)<br />     .否则<br />         break ()<br />     .如果结束<br /> <br /> .next ()<br /> fputs (1, #换行符)<br /> <br /> fputs (1, “地区:” ＋ 地区 ＋ #换行符)<br /> fputs (1, “语言:” ＋ 语言 ＋ #换行符)<br /> fputs (1, “评分:” ＋ 评分 ＋ #换行符)<br /> fputs (1, #换行符)

爬取豆瓣top250.rar (353.28 KB, 下载次数: 22)

2024-10-29 20:01 上传

点击文件名下载附件

sunerle

熊不熊

感谢分享，很给力！~

光影魔术

感谢分享源码

mood1000

运行了没反应

jysoft2022

感谢分享

凌伤

感谢大神分享~！

ctry78985

感谢分享

wjswzj0

感谢分享，很给力！~

pshq123