当前位置:网站首页 > 如何正确看待百度小爬虫正常的抓取频次?
如何正确看待百度小爬虫正常的抓取频次? 2019-03-21 10:19:47

  首先我们来了解一下百度小爬虫俗称网络蜘蛛,爬虫或机器人是持续“访问”并抓取网页以收集某些信息的计算机程序。搜索引擎蜘蛛由百度,Google或360等搜索引擎管理,这种蜘蛛可以对互联网上所有的页面进行爬行(前提是可发现),并将它们提供给搜索引擎的索引库。

  而抓取频次是搜索引擎蜘蛛在特定时间段内击中网站的次数,例如,百度通常每月会在我的网站上点击1000次,我可以说1K就是百度的每月抓取频次,请注意,这些爬虫的数量和频率没有普遍限制。

  抓取频次可以通过百度站长工具进行查询,抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数,如果搜索引擎对站点的抓取频次过高,很有可能造成服务器不稳定,百度蜘蛛(Baiduspider)会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

  很多优化站长认为百度抓取频次越高对网站越好,其实这是种错误的理解。郑州网站SEO优化公司认为百度抓取频次多少与网站类型和质量有很大关系,比如你在运营着一个流量站,其盈利方式来源于网站流量,那么这样的网站就需要有大量的内容,百度抓取频次就会很高。但如果你运营着一个企业站,每天并不会产生大量的内容,那么这样的网站百度抓取频次就会低一些。

  那么为什么抓取频次很重要?

  从逻辑上讲,您应该关注抓取频次,因为您希望百度尽可能多地发现网站的重要网页,您还希望它能够快速在您的网站上找到新内容,抓取频次越大,这种情况会越快发生。

  那么如何充分利用抓取频次来提升网站的排名呢?在这里郑州SEO优化公司给您几条建议:

  1.确保重要页面可被抓取,并且如果在搜索中找到的内容不提供价值,则会被阻止。

  .htaccess和robots.txt不应该阻止网站的重要页面,机器人应该能够访问CSS和Javascript文件,同时,您应该阻止不想在搜索中显示的内容,阻止网站的“正在建设中”的区域和动态生成的网址等。

  2.避免长时间重定向链

  如果网站上的连续301和302重定向数量不合理,则搜索蜘蛛将在某个时刻停止跟踪重定向,并且目标网页可能无法抓取,更重要的是,每个重定向的URL都会浪费您的抓取频次的“单元”,确保连续使用重定向不超过两次,并且只有在绝对必要时才使用重定向。

  3、利用好网站的RSS

  根据多年的SEO优化推广经验,RSS feed是百度蜘蛛访问量最高的页面之一,如果网站上的某个部分经常更新(博客,精选产品页面和新到达部分),请确保为其创建RSS源,请记住保持RSS源免受非规范,从索引或404页面被阻止。

  4、管理网站结构和内部链接

  虽然内部链接与抓取频次没有直接关系,但网站结构仍然是使搜索漫游器可发现内容的重要因素,逻辑树状网站的结构具有许多优点 – 例如用户体验以及访问者在网站上花费的时间 – 而改进的爬行绝对是其中之一。

  5、保持网站地图整洁和最新

  XML站点地图有助于提升爬行频次,他们会告诉搜索引擎关于网站内容的组织结构,并让搜索机器人更快地发现新内容,XML站点地图应定期更新并免于垃圾

  6、每个页面的网址建议用静态网址来访问

  有些内容管理系统会生成大量动态网址,实际上会导致同一页面,默认情况下,搜索引擎机器人会将这些URL视为单独的页面; 因此可能会浪费爬网频次,又可能会滋生内容重复问题。

  7、查找并修复HTTP错误

  百度抓取的任何网址(包括CSS和Java脚本)都会占用一个抓取频次单位,你不想在404或503页上浪费它,是吗?花一点时间来测试网站是否有任何损坏的链接或服务器错误,并尽快修复这些错误。

分享到:

上一篇:没有了

下一篇:没有了

返回列表

Powered by © 2014-2018  郑州腾翔科技有限公司 版权所有    | 豫ICP备18030680号-1 网站地图     xml      

相关搜索:郑州网站建设公司  郑州做网站公司  郑州网站SEO优化公司  郑州网站建设公司  郑州优化推广公司  郑州网络推广公司哪家好  郑州SEO优化推广公司  

服务热线

400-990-6063

品牌网站建设

搜索营销系统

熊猫搜索推广

微信营销

微信服务号