1.一种网站网页源代码自动爬取方法,其特征在于,包括以下步骤:
S1、确定含有目标信息的网站,分析该网站确定目标信息所在的网页,以及该些含有目标信息网页特有的共同特点;
S2、加载爬取的初始网页以及该网页的URL;
S4、爬取初始网页的源代码,并检查是否存在含有目标信息的网页的URL,若不存在即结束爬取程序,若存在即逐一爬取含有目标信息的网页源代码,直到所有包含目标信息的网页爬取完毕;
S5、将爬取到的目标源代码保存在指定位置的指定文件夹中,方便后期提取目标信息。
2.根据权利要求1所述的一种网站网页源代码自动爬取方法,其特征在于,所述步骤S4爬取网页源代码时,将爬虫程序伪装成电脑浏览器向网站服务器发送网页请求,避免爬虫程序被网站识别为机器代码而拒绝访问。
3.根据权利要求2所述的一种网站网页源代码自动爬取方法,其特征在于,所述在利用爬虫程序向网站服务器发送网页请求时,修改发送报文的请求头,修改参考浏览器中向网站发送请求时使用的请求头的参数,使得爬虫代码的请求更像是浏览器的访问;浏览器向网站发送的网页请求报文的各个参数通过开发工具查找。
4.根据权利要求2所述的一种网站网页源代码自动爬取方法,其特征在于,所述爬虫程序伪装成电脑浏览器每次向网站服务器发送网页请求时,均会监测发出的网页请求是否得到回应,若第一次请求未得到回应,则进入等待时间,等待时间结束后再一次发出网页请求;若连续5次发出网页请求均未得到回应,则更换代理IP,更换代理IP后继续发送网页请求。
5.根据权利要求4所述的一种网站网页源代码自动爬取方法,其特征在于,所述代理IP利用爬虫从代理IP网站爬取所得,且该爬取到的代理IP进行检测确认可用后写入数据库;当需要更换爬虫程序的IP时,则从数据库中获取可用的IP写入爬虫程序的IP参数中。