建议让百度蜘蛛自行决定抓取频次
更新时间:2016-07-09 15:04 已阅读: 次 | 作者:骏马网络 来源:潍坊做网站什么是抓取频次:
抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,如果搜索引擎对站点的抓取频次过高,很有可能造成服务器不稳定,Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
抓取频次,也可以反映百度对网站的抓取压力阀值。
这个阀值,有两个主要影响因子:
1 服务器的数量(以IP区分)。
2 网站的更新速度,单位时间内更新文章的数量。
在默认情况下,百度会自主调整每个网站的抓取频次,但这样的调整,是依据的服务器的承载能力,也就是抓取不影响网站的正常访问为前提的。如果同一个IP的网站越多,在相同的服务器承载能力下,每个网站所能分配的额度理论上越少。
是否调整抓取频次,以目前网站的服务器负载水平,及文章的更新速率来决定。
如果没有特殊情况,比如改版,大量文章更新,或者更换服务器,建议让百度蜘蛛自行决定抓取频次。
文章引用:https://wfwz.net/news/107.html如需转载,请注明出处。