很作做网站的朋友们可能会对百度蜘蛛或者其他的搜索引擎爬虫提出质疑，为什么网站录入的内容不不能重复抓取？不重复抓取，就需求去判别是不是重复。那么就需求记住之前的抓取行动，现在郑州做网站公司-汉狮网络可以在这里举一个简略的比如。这里看到汉狮网络发了一个URL连接，然后你是先看到了汉狮网络发的这个连接，然后才会点击并在阅读器翻开看到具体内容。这个等于爬虫看到了后才会进行抓取。=
假定这是一个页面上一切的连接，当爬虫爬取这个页面的连接时就悉数发现了。当然爬取(理解为发现连接)与抓取(理解为抓取页面)是同步进行的。一个发现了就通知了别的一个，然后前面的持续爬，后边的持续抓。抓取完了就存起来，并标记上，大家发可以现有些记录是重复的。那么当爬虫抓取第二条后，又爬取到了其他条就发现这条信息现已抓取过了，那么就不再抓取了。爬虫不是尽可能抓更多的东西吗?为何还要判别重复的呢?
所以说，大家可以想一下。互联网有多少网站又有多少页面呢?是真没查验过，但这个量级应当大的惊人了。而自身搜索引擎的爬取和抓取都是需求履行一段代码或一个函数。履行一次就代表着要消耗一丁点资源。假如抓取的重复量级达到百亿等级又会让爬虫做多少的无用功?消耗搜索引擎多大的本钱?这本钱即是钱，降低本钱即是削减支出。当然不重复抓取不但表现在这里，但这个是清楚明了的。你要知道的即是类似于内容详情页的抢手引荐、有关文章、随机引荐、新文章的重复度有多大?是不是一切页面都相同?假如都相同，那么可以恰当调整下，在不影响网站自身的用户体会前提下，去恰作为一些调整。
