很多人看SEO文章啊,或者在网上看网文都会出现一个词:蜘蛛。
一:什么是蜘蛛Spider?
蜘蛛Spider是搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库, 使用户能在百度搜索引擎中搜索到您网站的网页、图片、视频等内容。 简单说就是一款抓取互联网信息的程序。
二:蜘蛛Spider的分类
1.批量型Spider:有明显的抓取范围和目标,有抓取时间、数据量或固定在范围内页面限制的抓取程序,一般我们使用的采集工具就是这类Spider。
2.增量型Spider:没有固定目标、范围和时间限制,永无休止地进行抓取,直至把全网的数据抓完为止。
3.垂直型Spider:跟增量型Spider相似,但抓取范围有针对性地抓取。
三:蜘蛛Spider的抓取策略
1.深度优先策略:即一直沿着一条路往下走,走到没路了,再回过头来走另外一条路,如此类推.
2.广度优先策略:Spider在一个页面上发现多个连接时,先把这些页面抓一遍,然后再抓从这些页面中提取下来的链接