链接提交有高招!ETag里藏玄机!

黑色理想 2017年2月19日00:00:00技术分享2101163字阅读3分52秒

曾经介绍过“ETag”,点此查看上篇文章。那究竟开通之后效果如何?现在让智联招聘的桃李为我们分享一下他们的亲身体验:

 

sitemap是解决网站收录至关重要的途径之一,而通常sitemap的更新都不是很及时,并且体量都相对较大,此时也消耗了相应的网站流量及带宽。而ETag可以用来标示网页是否发生了变化,如果没有变化返回304状态码,就不用再重新传输整个网页了。

在我们的sitemap配置了ETag之后,对日志一段时间的监测发现,其sitemap响应时间以及耗时的平均时间均大幅度下降,爬虫访问sitemap文件的次数有所增加,对于收录而言,通过图表也能看出相对的增长曲线,我们的整体收录率大致提升范围在2% – 5%左右。所以在此,强烈建议大家设置sitemap的ETag,简简单单的一个小动作就能看到相对明显的效果还是很不错的。

ETag全称EntityTags,HTTP协议规格说明中定义“ETag”为“被请求变量的实体值”。我们也可以把ETag理解为是一个客户端与服务器关联的记号。这个记号告诉客户端,当前网页在上次请求之后是否有发生变化,当发生变化时,ETag的值重新计算,并返回200状态码。如果没有变化,返回304状态码。从而不会重新加载整个页面信息。

如下,是我司站点的sitemap文件的头信息:

 

我们看到,ETag中包含了一连串的数据,这就是计算出来的一个值,如果它发生变化,说明其页面内容一定发生了变化。如果页面没有发生变化时,头信息应该如下:

 

在我们与技术沟通配置ETag时,需要通过此种方式进行验证。第一次访问200状态码,有ETag的一行文本,再次访问该页面时,状态码为304,ETag的值不变。至此,我们就可以确定ETag配置成功。

另外,sitemap启用Etag后:

1、 百度可以更及时地响应sitemap的更新;

2、 页面没有更新的情况下,对流量的消耗极小;

3、 百度更加及时的抓取sitemap,便于更好的收录;

但多数情况下,ETag会与Last-Modified一起使用,这样可利用客户端(例如浏览器)的缓存。因为服务器首先产生Last-Modified/Etag标记,服务器可在稍后使用它来判断页面是否已经被修改。本质上,客户端通过将该记号传回服务器要求服务器验证其(客户端)缓存。

对于如何配置ETag站长学院有很详细的文章指南《对站点服务器如何配置ETag》,最好是对全站进行配置ETag,这样对于站点而言,在带宽消耗、爬虫抓取上的提升还是会有很大收益的。

同时使用sitemap提交的站点也请注意:请在链接提交-自动提交中提交sitemap数据,本接口为最新数据接口;之前在其他工具中提交的sitemap后台后续将不再维护(提交sitemap的旧地址已经在平台工具栏下线),数据问题也将无法优先处理。

继续阅读
黑色理想
  • 本文由 发表于 2017年2月19日00:00:00
  • 转载请务必保留本文链接:http://ilhc.cc/3658.html
5种方法获取Bing每日图片 技术分享

5种方法获取Bing每日图片

写在前面的:大家都知道微软的Bing搜索引擎首页每天都会提供了一些有趣的图片,而这些图片很多都是有故事含义的,很多网友每天去访问bing首页都是为了这些图片而去的。那么怎么Download下来呢,下面...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

评论:2   其中:访客  2   博主  0
    • 金选网赚博客
      金选网赚博客 3

      真不错,多谢分享啊

      • 姜辰
        姜辰 4

        好厉害的样子~另外你以前不是多说吗?