您查询的关键词是:怎么 爬取网    
下面是原始网址 http://www.xjishu.com/zhuanli/55/201810297883_2.html 在 2020-06-13 05:15:05 的快照。

360搜索与该网页作者无关,不对其内容负责。

一种网站网页源代码自动爬取方法与流程_2

一种网网页自动爬取方法与流程

文档序号:15686845发布日期:2018-10-16 21:08

技术特征:

1.一种网网页自动爬取方法,其特征在于,包括以下步骤:

S1、确定含有目标信息的网,分析该网确定目标信息所在的网页,以及该些含有目标信息网页特有的共同特点;

S2、加载爬取的初始网页以及该网页的URL;

S3、加载要爬取网页的共同特点;

S4、爬取初始网页的,并检查是否存在含有目标信息的网页的URL,若不存在即结束爬取程序,若存在即逐一爬取含有目标信息的网页,直到所有包含目标信息的网页爬取完毕;

S5、将爬取到的目标保存在指定位置的指定文件夹中,方便后期提取目标信息。

2.根据权利要求1所述的一种网网页自动爬取方法,其特征在于,所述步骤S4爬取网时,将爬虫程序伪装成电脑浏览器向网服务器发送网页请求,避免爬虫程序被网识别为机器代而拒绝访问。

3.根据权利要求2所述的一种网网页自动爬取方法,其特征在于,所述在利用爬虫程序向网服务器发送网页请求时,修改发送报文的请求头,修改参考浏览器中向网发送请求时使用的请求头的参数,使得爬虫代的请求更像是浏览器的访问;浏览器向网发送的网页请求报文的各个参数通过开发工具查找。

4.根据权利要求2所述的一种网网页自动爬取方法,其特征在于,所述爬虫程序伪装成电脑浏览器每次向网服务器发送网页请求时,均会监测发出的网页请求是否得到回应,若第一次请求未得到回应,则进入等待时间,等待时间结束后再一次发出网页请求;若连续5次发出网页请求均未得到回应,则更换代理IP,更换代理IP后继续发送网页请求。

5.根据权利要求4所述的一种网网页自动爬取方法,其特征在于,所述代理IP利用爬虫从代理IP网爬取所得,且该爬取到的代理IP进行检测确认可用后写入数据库;当需要更换爬虫程序的IP时,则从数据库中获取可用的IP写入爬虫程序的IP参数中。

再多了解一些
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1