什么是搜索引擎蜘蛛(网络爬虫)

　　查找引擎蜘蛛简称网络爬虫(webcrawler)，网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中心，更常常的称为网页追逐者)，是一种依照必定的规矩，主动地抓取万维网信息的程序或许脚本。别的一些不常运用的姓名还有蚂蚁、主动索引、模拟程序或许蠕虫。

　　查找引擎蜘蛛发生的布景

　　跟着网络的迅速发展，万维网成为很多信息的载体，怎么有效地提取并使用这些信息成为一个巨大的应战。查找引擎(SearchEngine)，例如传统的通用查找引擎AltaVista，Yahoo!和Google等，作为一个辅佐人们检索信息的东西成为用户拜访万维网的进口和攻略。可是，这些通用性查找引擎也存在着必定的局限性，如：

　　(1)不同范畴、不同布景的用户往往具有不同的检索意图和需求，通用查找引擎所回来的成果包括很多用户不关心的网页。

　　(2)通用查找引擎的方针是尽可能大的网络掩盖率，有限的查找引擎服务器资源与无限的网络数据资源之间的对立将进一步加深。

　　(3)万维网数据方法的丰厚和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据很多出现，通用查找引擎往往对这些信息含量密布且具有必定结构的数据力不从心，不能很好地发现和获取。

　　(4)通用查找引擎大多供给依据关键字的检索，难以支撑依据语义信息提出的查询。

　　为了处理上述问题，定向抓取相关网页资源的聚集爬虫应运而生。聚集爬虫是一个主动下载网页的程序，它依据既定的抓取方针，有挑选的拜访万维网上的网页与相关的链接，获取所需求的信息。与通用爬虫(generalpurposewebcrawler)不同，聚集爬虫并不寻求大的掩盖，而将方针定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询预备数据资源。

　　聚集爬虫作业原理以及关键技术

　　网络爬虫是一个主动提取网页的程序，它为查找引擎从万维网上下载网页，是查找引擎的重要组成。传统爬虫从一个或若干初始网页的URL开端，取得初始网页上的URL，在抓取网页的进程中，不断从当时页面上抽取新的URL放入行列，直到满意体系的必定中止条件。聚集爬虫的作业流程较为杂乱，需求依据必定的网页剖析算法过滤与主题无关的链接，保存有用的链接并将其放入等候抓取的URL行列。然后，它将依据必定的查找战略从行列中挑选下一步要抓取的网页URL，并重复上述进程，直到到达体系的某一条件时中止。别的，一切被爬虫抓取的网页将会被体系存贮，进行必定的剖析、过滤，并树立索引，以便之后的查询和检索;关于聚集爬虫来说，这一进程所得到的剖析成果还可能对今后的抓取进程给出反应和辅导。

　　相关于通用网络爬虫，聚集爬虫还需求处理三个首要问题：

　　(1)对抓取方针的描绘或界说;

　　(2)对网页或数据的剖析与过滤;

　　(3)对URL的查找战略。

　　查找引擎蜘蛛面对的问题

　　截止到2007年末，Internet上网页数量超出160亿个，研讨标明挨近30%的页面是重复的;动态页面的存在：客户端、服务器端脚本语言的使用使得指向相同Web信息的URL数量呈指数级增加。上述特征使得网络爬虫面对必定的困难，首要体现在Web信息的巨大容量使得爬虫在给守时间内只能下载少数网页。Lawrence和Giles的研讨标明没有哪个查找引擎可以索引超出16%的Internet上Web页面，即便可以提取悉数页面，也没有满足的空间来存储。

　　为进步匍匐功率，爬虫需求在单位时间内尽可能多的获取高质量页面，是它面对的难题之一。当时有五种表明页面质量凹凸的方法：Similarity(页面与匍匐主题之间的类似度)、Backlink(页面在Web图中的入度巨细)、PageRank(指向它的一切页面平均权值之和)、Forwardlink(页面在Web图中的出度巨细)、Location(页面的信息方位);Parallel(并行性问题)[3]。为了进步匍匐速度，网络一般会采纳并行匍匐的作业方法，随之引入了新的问题：重复性(并行运转的爬虫或匍匐线程一起运转时增加了重复页面)、质量问题(并行运转时，每个爬虫或匍匐线程只能获取部分页面，导致页面质量下降)、通讯带宽价值(并行运转时，各个爬虫或匍匐线程之间不可避免要进行一些通讯)。并行运转时，网络爬虫一般选用三种方法：独立方法(各个爬虫独立匍匐页面，互不通讯)、动态分配方法(由一个中心和谐器动态和谐分配URL给各个爬虫)、静态分配方法(URL事前划分给各个爬虫)。