解读百度站长学院搜索引擎工作原理之抓取篇

　　导读：很早之前就看过百度官方发布的搜索引擎工作原理，最近百度站长平台改版，将原来的资讯改成了站长学院，其中也对搜索引擎工作原理进行了更新。
　　今日又看了一遍，发现还有很多值得琢磨的地方，下面我就对我比较感兴趣的段落摘录下来并大概解读一下。
　　一、抓取篇
　　spider抓取系统包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。
　　解读：蜘蛛从链接库中选取链接，对链接对应的页面进行抓取，保存网页到网页库的同时再提取抓取页面中的链接，并对这些链接和链接库进行对照、合并重复链接、建立新链接入库。其中在抓取页面的时候，已经对页面进行简单分析，过滤掉垃圾页面。这是一个不断循环的过程。
　　Baiduspider根据上述网站设置的协议对站点页面进行抓取，但是不可能做到对所有站点一视同仁，会综合考虑站点实际情况确定一个抓取配额，每天定量抓取站点内容，即我们常说的抓取频次。那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢？
　　主要指标有四个：
　　1、网站更新频率：更新快多来，更新慢少来，直接影响Baiduspider的来访频率；
　　2、网站更新质量：更新频率提高了，仅仅是吸引了Baiduspier的注意，Baiduspider对质量是有严格要求的，如果网站每天更新出的大量内容都被Baiduspider判定为低质页面，依然没有意义；
　　3、连通度：网站应该安全稳定、对Baiduspider保持畅通，经常给Baiduspider吃闭门羹可不是好事情；
　　4、站点评价：百度搜索引擎对每个站点都会有一个评价，且这个评价会根据站点情况不断变化，是百度搜索引擎对站点的一个基础打分（绝非外界所说的百度权重），是百度内部一个非常机密的数据。站点评级从不独立使用，会配合其它因子和阈值一起共同影响对网站的抓取和排序。
　　解读：如果你的网站新更新的文章百度收录慢或者不收录，就可以从以上四点上找下原因，其中影响最大的就是更新频率，也就是我们常说的，要学会养蜘蛛，更新频率不但指更新量上，还要注意每日的更新篇数不要悬殊太大。另外，网站访问稳定也要注意，打开速度过慢或者无法打开都会影响到收录问题。
　　Baiduspider抓了多少页面并不是最重要的，重要的是有多少页面被建索引库，即我们常说的建库。众所周知，搜索引擎的索引库是分层级的，优质的网页会被分配到重要索引库，普通网页会待在普通库，再差一些的网页会被分配到低级库去当补充材料。目前60的检索需求只调用重要索引库即可满足，这也就解释了为什么有些网站的收录量超高流量却一直不理想。
　　解读：我认为，这三个等级的索引库也是有相互转化的，比如普通库的页面会被提升到优质库中，对于很多新站或者信任度不高的站点，新发布的页面很难直接进入到优质库中，但后期如果经过搜索用户检验，以及大量的外链导入可能会转化到优质库中。
　　哪些网页可以进入优质索引库呢。其实总的原则就是一个：对用户的价值！
　　包括却不限于：
　　1、有时效性且有价值的页面：在这里，时效性和价值是并列关系，缺一不可。有些站点为了产生时效性内容页面做了大量采集工作，产生了一堆无价值面页，也是百度不愿看到的；
　　2、内容优质的专题页面：专题页面的内容不一定完全是原创的，即可以很好地把各方内容整合在一起，或者增加一些新鲜的内容，比如观点和评论，给用户提供更丰富全面的内容；
　　3、高价值原创内容页面：百度把原创定义为花费一定成本、大量经验积累提取后形成的文章。千万不要再问我们伪原创是不是原创；
　　4、重要个人页面：这里仅举一个例子，科比在新浪微博开户了，需要他不经常更新，但对于百度来说，它仍然是一个极重要的页面。
　　解读：请注意这里面的时效性、价值性、整合、成本、独立无二，特别是里面的成本，复制粘贴的无成本、标题党无成本、所以，就算你不原创，你也要让人感觉你的文章是花了很大时间成本或金钱成本搞成的。上面百度所讲的四个点中不包含权威性，但权威性也是一个很很关键的因素，同样一个文章，大门户复制和一个小站长复制，那层次是不一样的。
　　哪些网页无法建入索引库
　　上述优质网页进了索引库，那其实互联网上大部分网站根本没有被百度收录。并非是百度没有发现他们，而是在建库前的筛选环节被过滤掉了。那怎样的网页在最初环节就被过滤掉了呢：
　　1、重复内容的网页：互联网上已有的内容，百度必然没有必要再收录。
　　2、主体内容空短的网页。
　　有些内容使用了百度spider无法解析的技术，如JS、AJAX等，虽然用户访问能看到丰富的内容，依然会被搜索引擎抛弃；
　　加载速度过慢的网页，也有可能被当作空短页面处理，注意广告加载时间算在网页整体加载时间内；
　　很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。
　　3、部分作弊网页。
　　解读：了解搜索引擎的工作原理，对从事SEO是十分关键的，有时候，我们不需要刻意研究怎样才能获取好的排名，只要你站在搜索引擎的角度上，了解其基本工作原理，如果整个抓取和排序系统让你去开发的话，你会怎样做？换位思考后，千万别再去考虑站长的利益，而是更多地去考虑搜索用户喜欢什么，他们想要什么。