事前疑问考虑：
1.蜘蛛是不是完成逻辑上的全站抓取
2.蜘蛛是不是能够区别页面重要性
3.蜘蛛是不是能够提取页面的关键字
一、逻辑上全站匍匐
1.网站构造优化
网站物理构造，即依据内容聚合的目录及文件方位决定的构造。当前的干流思想即是网站扁平化规划，即平行构造。如：
列表目录扁平化规划
主要完成方法：
种 仅仅简略的上下页操作
第二种 在种的基础上 增加页面的挑选性
第三种 当前干流的列表页规划方法 沟通性对比合理
主页的扁平化规划
主页通常是权重的高页面，也是蜘蛛先拜访的页面。所以在主页连接关于页面的“重要性”有必定影响，但通常一个网站的页面不计其数，主页的连接数理论上保持100-150是合理的，所以将想要频道页、详细页在主页留下连接，完成逻辑上主页扁平化规划。相同适用频道页等聚合特色的页面。
那么疑问来了，面临数量无穷页面，怎么确保都能够完成被匍匐抓取?
树形构造的辅佐，即是为了解决，扁平化带来的缺乏，在导航栏、面包屑导航等规划页面层级思想，辅佐蜘蛛对网站构造的了解。
如：选用二级域名的网站树形构造
总体上扁平化+树形构造才是合理的网站构造优化战略组合。
2.连接构造优化
两种蜘蛛抓取不到的页面：网站本身不期望被录入的页面;没有连接抵达的页面，即孤岛页面。关于没有被主页引荐的页面，能够再内链上弥补。合理的内链即是一个畅通无阻、有条有理的交通系统，蜘蛛即是交游的车辆。社会化、描文本、设置连接入口等。
3.Domain构造优化
主要是二级域名和二级目录的挑选战略。没有肯定的好与不好，就科易网小编来说当前公司网站正在有二级域名网站构造向二级目录改变，仅仅采纳习惯当前科易网发展的中心：刻画公司品牌。所以依据本身特色挑选合理的domain战略。
二、重要性的主导
关于搜索引擎来说，什么样页面会被以为“更重要”?有这么一句话：每个连接都是一个投票，意思是：页面的一切连接都是投票。在搜索引擎看来：取得更多内部投票的页面相对来说愈加重要。
三、页面的标签：关键字
搜索引擎在剖析页面的内容是优先从TDK下手，即title、description、keyword;以后即是H标签、alt标签;终是TF-IDF ，即词频-文件频率。从三个的关联度界说页面的“标签”，即抓取的时页面的界说的关键字。
本文由郑州做网站公司-汉狮网络整理发布，汉狮网络官方的网站查看：http://www.ihanshi.com
