开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 6426|回复: 9
收起左侧

[已回应] 网页_访问S 优化建议

[复制链接]
结帖率:47% (8/17)
发表于 2016-5-13 23:58:27 | 显示全部楼层 |阅读模式   上海市上海市
本帖最后由 萧阳天 于 2016-5-14 21:41 编辑

血蜘蛛写的不错,但是里面判断的东西太多,而且加上那么多处理事件()--一点用都没有啊大哥,正则判断网页编码那块还有利用对象转换编码 经常有问题,我都遇到过好几次所以改了下;自己感觉还可以,版主看下吧
更改说明:
1.去掉了所有的处理事件()-没用
2.增加人工判断网页编码--大大提高了效率
3.删除正则
4.删除原来的对象转码,转用精易的 编码_Utf8到Ansi()-这个方式我一直用,很稳定
5.删除网站用户名 密码--几乎用不到
6.删除代理的用户名 密码--几乎用不到


  
子程序名返回值类型公开备 注
网页_访问S文本型 源码由[洫蜘蛛]提供,使用WinHttp的方式访问网页,如果返回是“?”请查询返回协yi头是否有“Content-Encoding: gzip“表示gzip压缩过网页,可用 网页_GZIP解压()命令解压,如果返回是乱码,则返回原始文本,请自行转换编码,失败返回空文本,请取出状态文本。
参数名类 型参考可空数组备 注
网址文本型完整的网页地址,必须包含http://或者https://
访问方式整数型0=GET 1=POST 2=HEAD 3=PUT
提交信息文本型POST专用
提交Cookies文本型本参数传递变量时会自动回传返回的Cookie
返回Cookies文本型返回的Cookie
附加协yi头文本型一行一个请用换行符隔开,建议填写常量值或文本值,防止因传参引发错误
返回协yi头文本型返回的协yi头
禁止重定向逻辑型默认不禁止网页重定向
代理地址文本型代理地址,格式为 8.8.8.8:88
超时时间整数型可以被省略,单位:秒,默认30秒,如果提供大于0的数值,则修改操作超时时间。
返回重定向文本型可以被省略,提供参数时只能提供文本型变量,用于当发生重定向时取回页面重定向的地址。
返回状态文本文本型
是否UTF8逻辑型真=Utf8解码;假=GBK解码;默认是GBK
变量名类 型静态数组备 注
局_URL结构URL_COMPONENTS 
局_网页地址字节集 
局_域名文本型 
局_端口  
局_重定向地址文本型 
局_HTTPS逻辑型 
局_会话句柄整数型 
局_User_Agent文本型 
局_代理名称字节集 
局_会话类型  
局_连接句柄  
局_请求句柄  
局_访问方式文本型 
局_页面地址字节集 
局_设置超时  
局_请求标记  
局_请求协yi文本型 
局_请求报头字节集 
局_数据长度整数型 
局_提交数据字节集 
局_可读长度整数型 
局_缓存数据字节集 
局_网页数据字节集 
局_网页内容文本型 
局_文本数组文本型0
局_计次整数型 
如果 (WinHttpCheckPlatform ())
局_URL结构.dwStructSize = 60
连续赋值 (-1, 局_URL结构.dwSchemeLength, 局_URL结构.dwHostNameLength, 局_URL结构.dwUrlPathLength, 局_URL结构.dwExtraInfoLength)
局_网页地址 = 编码_Ansi到Unicode (网址)
如果 (WinHttpCrackUrl (局_网页地址, 取字节集长度 (局_网页地址), 0, 局_URL结构))
局_域名 = 编码_Unicode到Ansi (指针到字节集 (局_URL结构.lpszHostName, 局_URL结构.dwHostNameLength × 2))
局_页面地址 = 选择 (局_URL结构.dwUrlPathLength < 1, 编码_Ansi到Unicode (“/”), 指针到字节集 (局_URL结构.lpszUrlPath, 局_URL结构.dwUrlPathLength × 2)指针到字节集 (局_URL结构.lpszExtraInfo, 局_URL结构.dwExtraInfoLength × 2){ 0, 0 })
局_端口 = 局_URL结构.nPort
局_HTTPS = #INTERNET_SCHEME_HTTPS = 局_URL结构.nScheme
局_会话类型 = 选择 (取文本长度 (代理地址) > 0, #WINHTTP_ACCESS_TYPE_NAMED_PROXY, #WINHTTP_ACCESS_TYPE_NO_PROXY )
局_代理名称 = 选择 (取文本长度 (代理地址) = 0, { 0, 0 }, 选择 (局_HTTPS, 编码_Ansi到Unicode (代理地址), 编码_Ansi到Unicode (“http=” + 代理地址)))
局_会话句柄 = WinHttpOpen (0, 局_会话类型, 局_代理名称, 0, 0)
如果 (局_会话句柄 ≠ 0)
局_连接句柄 = WinHttpConnect (局_会话句柄, 编码_Ansi到Unicode (局_域名), 局_端口, 0)
如果 (局_连接句柄 ≠ 0)
局_访问方式 = 选择 (访问方式 < 0 访问方式 > 3, “GET”, 多项选择 (访问方式 + 1, “GET”, “POST”, “HEAD”, “PUT”))
局_请求句柄 = WinHttpOpenRequest (局_连接句柄, 编码_Ansi到Unicode (局_访问方式), 局_页面地址, 0, #WINHTTP_NO_REFERER, #WINHTTP_DEFAULT_ACCEPT_TYPES, 选择 (局_HTTPS, #WINHTTP_FLAG_SECURE, 0))
如果 (局_请求句柄 ≠ 0)
局_设置超时 = 选择 (超时时间 > 0, 超时时间 × 1000, 30000)
如果 (WinHttpSetTimeouts (局_请求句柄, 局_设置超时, 局_设置超时, 局_设置超时, 局_设置超时))
局_请求标记 = 选择 (是否为空 (提交Cookies), #WINHTTP_OPTION_DISABLE_FEATURE, #WINHTTP_OPTION_ENABLE_FEATURE )
如果真 (WinHttpSetOption (局_请求句柄, 局_请求标记, #WINHTTP_DISABLE_COOKIES, 4))
返回状态文本 = “708 禁止自动设置Cookies失败!”
WinHttpCloseHandle (局_请求句柄)
WinHttpCloseHandle (局_连接句柄)
WinHttpCloseHandle (局_会话句柄)
返回 (“”)
如果真 (禁止重定向)
如果真 (WinHttpSetOption (局_请求句柄, #WINHTTP_OPTION_DISABLE_FEATURE, #WINHTTP_DISABLE_REDIRECTS, 4))
返回状态文本 = “709 重定向设置失败!”
WinHttpCloseHandle (局_请求句柄)
WinHttpCloseHandle (局_连接句柄)
WinHttpCloseHandle (局_会话句柄)
返回 (“”)

如果真 (取文本长度 (附加协yi头) > 0)  ' 先加载用户设置的协yi头,后面再进行补充。
局_请求协yi = 附加协yi头 + #换行符
如果真 (寻找文本 (局_请求协yi, “User-Agent: ”, 1, ) = -1)
局_请求协yi = 局_请求协yi + “User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)”#换行符
如果真 (寻找文本 (局_请求协yi, “Accept: ”, 1, ) = -1)
局_请求协yi = 局_请求协yi + “Accept: text/html, application/xhtml+xml, */*”#换行符
如果真 (寻找文本 (局_请求协yi, “Accept-Encoding: ”, 1, ) = -1)
局_请求协yi = 局_请求协yi + “Accept-Encoding: gbk, GB2312”#换行符
如果真 (寻找文本 (局_请求协yi, “Accept-Language: ”, 1, ) = -1)
局_请求协yi = 局_请求协yi + “Accept-Language: zh-cn”#换行符
如果真 (寻找文本 (局_请求协yi, “Content-Type:”, , ) = -1)
局_请求协yi = 局_请求协yi + “Content-Type: application/x-www-form-urlencoded”#换行符
如果真 (寻找文本 (局_请求协yi, “Cache-Control: ”, , ) = -1)
局_请求协yi = 局_请求协yi + “Cache-Control: no-cache”#换行符
如果真 (寻找文本 (局_请求协yi, “Cookie: ”, , ) = -1)
如果真 (取文本长度 (提交Cookies) > 0)
局_请求协yi = 局_请求协yi + “Cookie: ” + 提交Cookies + #换行符


局_请求报头 = 编码_Ansi到Unicode (局_请求协yi)
局_数据长度 = 取字节集长度 (局_请求报头) ÷ 2 - 1
如果 (WinHttpAddRequestHeaders (局_请求句柄, 局_请求报头, 局_数据长度, 位或 ( #WINHTTP_ADDREQ_FLAG_ADD, #WINHTTP_ADDREQ_FLAG_REPLACE )))
局_提交数据 = 到字节集 (提交信息)
局_数据长度 = 取字节集长度 (局_提交数据)
如果 (WinHttpSendRequest (局_请求句柄, 0, 0, 局_提交数据, 局_数据长度, 局_数据长度, 0))
如果 (WinHttpReceiveResponse (局_请求句柄, 0))
局_缓存数据 = {  }
局_网页数据 = {  }
判断循环首 (WinHttpQueryDataAvailable (局_请求句柄, 局_可读长度))
如果真 (局_可读长度 < 1)
跳出循环 ()
局_缓存数据 = 取空白字节集 (局_可读长度)
如果真 (WinHttpReadData (局_请求句柄, 局_缓存数据, 局_可读长度, 局_数据长度))
返回状态文本 = “713 读取数据失败!”
跳出循环 ()
局_网页数据 = 局_网页数据 + 取字节集左边 (局_缓存数据, 局_数据长度)
判断循环尾 ()
局_缓存数据 = {  }
局_数据长度 = 0
WinHttpQueryHeaders (局_请求句柄, #WINHTTP_QUERY_RAW_HEADERS_CRLF, 0, 局_缓存数据, 局_数据长度, #WINHTTP_NO_HEADER_INDEX )
局_缓存数据 = 取空白字节集 (局_数据长度)
如果真 (WinHttpQueryHeaders (局_请求句柄, #WINHTTP_QUERY_RAW_HEADERS_CRLF, 0, 局_缓存数据, 局_数据长度, #WINHTTP_NO_HEADER_INDEX ))
返回协yi头 = 编码_Unicode到Ansi (局_缓存数据)
返回状态文本 = 取文本中间 (返回协yi头, 10, 寻找文本 (返回协yi头, #换行符, 10, ) - 9)
返回协yi头 = 子文本替换 (返回协yi头, “Set-Cookie”, “Set-Cookie”, , , )
局_文本数组 = 分割文本 (返回协yi头, #换行符, )
计次循环首 (取数组成员数 (局_文本数组), 局_计次)
如果真 (寻找文本 (局_文本数组 [局_计次], “Set-Cookie”, , ) ≠ -1)
判断 (寻找文本 (局_文本数组 [局_计次], “;”, , ) ≠ -1)
返回Cookies = 返回Cookies + 删首尾空 (文本_取出中间文本 (局_文本数组 [局_计次], “Set-Cookie:”, “;”)) + “; ”
返回Cookies = 返回Cookies + 删首尾空 (子文本替换 (局_文本数组 [局_计次], “Set-Cookie:”, , , , )) + “; ”

如果真 (文本比较 (取文本左边 (局_文本数组 [局_计次], 10), “Location: ”, ) = 0)
返回重定向 = 取文本中间 (局_文本数组 [局_计次], 11, 取文本长度 (局_文本数组 [局_计次]) - 10)
处理事件 ()
计次循环尾 ()
返回Cookies = 取文本左边 (返回Cookies, 取文本长度 (返回Cookies) - 2)
如果真 (取反 (是否为空 (提交Cookies)))
网页_Cookie合并更新 (提交Cookies, 返回Cookies)
' -------------------提取网页编码,并转码
如果 (是否UTF8)
局_网页内容 = 编码_Utf8到Ansi (局_网页数据)
局_网页内容 = 到文本 (局_网页数据)


返回状态文本 = “712 服务器未响应!”

返回状态文本 = “711 发送请求失败!”

返回状态文本 = “710 设置协yi头失败!”

返回状态文本 = “705 设置超时时间失败!”



结帖率:100% (6/6)
发表于 2016-5-28 17:45:04 | 显示全部楼层   湖南省邵阳市
为什么网页_访问S()返回不了完整的COOKIE?   
回复 支持 反对

使用道具 举报

发表于 2016-5-24 18:47:07 | 显示全部楼层   福建省福州市
路过 学习 学习
回复 支持 反对

使用道具 举报

结帖率:100% (14/14)

签到天数: 2 天

发表于 2016-5-20 21:52:53 | 显示全部楼层   辽宁省锦州市
路过 学习学习
回复 支持 反对

使用道具 举报

结帖率:71% (5/7)
发表于 2016-5-18 11:45:47 | 显示全部楼层   辽宁省沈阳市
非常支持,这样效率高得多呢
回复 支持 反对

使用道具 举报

发表于 2016-5-16 18:48:07 | 显示全部楼层   陕西省宝鸡市
感谢分享,适用
回复 支持 反对

使用道具 举报

结帖率:100% (9/9)
发表于 2016-5-14 21:40:53 | 显示全部楼层   广东省东莞市
1、处理事件只是用于增强程序的可读性
2、网页编码不一定只是GBK和UTF8两种,所以用对象版转码可以支持多种编码类型
3、登录用户名和密码主要是方便有自动登录网站,比如路由器等
可空的参数并不影响
回复 支持 反对

使用道具 举报

发表于 2016-5-14 01:44:00 | 显示全部楼层   贵州省黔东南苗族侗族自治州
这么多代码... 我强迫症。不敢看
回复 支持 反对

使用道具 举报

发表于 2016-5-14 00:19:19 | 显示全部楼层   河北省保定市
话说楼楼为什么不直接发 “.e” 文件
回复 支持 反对

使用道具 举报

结帖率:47% (8/17)
 楼主| 发表于 2016-5-14 00:00:40 | 显示全部楼层   上海市上海市
后面还有点,沾不上了
  
返回状态文本 = “704 创建WinHttp请求失败!”

返回状态文本 = “703 创建WinHttp连接失败!”

返回状态文本 = “702 创建WinHttp会话失败!”

返回状态文本 = “701 解析URL地址失败!”

返回状态文本 = “700 当前系统不支持WinHttp服务!”
WinHttpCloseHandle (局_请求句柄)
WinHttpCloseHandle (局_连接句柄)
WinHttpCloseHandle (局_会话句柄)
返回 (局_网页内容)


回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
网站简介:精易论坛成立于2009年,是一个程序设计学习交流技术论坛,隶属于揭阳市揭东区精易科技有限公司所有。
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表