度娘稀饭的死链处理方式—新浪的经验

黑色理想 2018年3月11日00:00:00技术分享评论221291字阅读4分18秒

作为一个网站,产生死链是常有的事,但是度娘确实不喜欢,用户也不喜欢!
那你知道怎么能按照度娘喜欢的方式处理死链吗?

 

我们spider的工程师反应说新浪处理死链的方式一直很符合度娘的口味,So,我们就邀请新浪SEO高级工程师王久明掏心掏肺地分享一下吧:

 

一、在以下背景下会产生较多死链:

1、时政新闻的敏感性;

2、来自监管的删除需求;

3、频道(编辑)自身删改的需求;

4、搜索方期望资源方主动优化和定期清除的需求

 

二、死链分类:

由于系统架构、历史遗留问题、多业务系统交叉影响等多方面因素,新浪存在如下三种死链:

1、协议死链,服务器端返回HTTP状态码404;

例如:‘谁在伪善’http://news.sina.com.cn/movie/music/1999-06-15/2965.shtml

 

2,内容死链,服务器端返回HTTP状态码200,无法设置为404;

例如:http://news.sina.com.cn/c/2015-04-23/184531753084.shtml

 

3,页面需要用户和蜘蛛可以正常访问,但由于删改或误操作导致反复上下线形成协议死链或内容死链。

例如:http://news.sina.com.cn/2015-12-05/doc-ifxmhqaa9933763.shtml

上线后又下线,后又上线,甚至反复多次。由于下线期间存在协议死链或内容死链的情况,导致百度认为该页面应该被删除,不被收录,且即使后续重新上线也无法恢复收录。对于这种情况,应加以预防。

 

 

三、解决方案

1、协议死链,这个最符合HTML标准处理方式,站点方面无须多做什么,如果需要百度快速处理可以通过百度站长平台的死链提交工具
(http://zhanzhang.baidu.com/college/courseinfo?id=267&page=4#h2_article_title18)进行主动提交;

 

2,无法设置协议死链接,仅主体内容文本被删除的内容死链死链,新浪的处理方法是:

1)走事先之制定好的《死链标准流程》:用站内标准内容死链模板页面(告诉用户该页无法找到)覆盖需要删除的页面,5秒后跳转到统一的全站导航页,以减少用户流失;

2)根据需要,比如根据特定关键词圈定一批最终需要处理为协议死链的敏感页面,将这些页面链接放到一个文件里,由专人在服务器端修改成协议死链。通过百度站长平台工具进行死链提交。

 

3,针对反复上下线导致百度误判为死链的情况,新浪的预防办法是:

1)制度上:系统后台设置提醒,提醒编辑上线后除非特殊情况不要下线;

2)功能上:这种情况在专题运营中最常见,且影响比单篇新闻页要大,由于我站点运营规定是不能删除页面的,因此在系统后台将“删除专题(对编辑来说就是删除该专题)”和“将专题调整为不对外显示(对编辑来说不是删除,而是暂时下线,调整为外网用户无法访问,可随时再次重新上线)”两个功能严格区分开,并提供回收功能。针对“将专题调整为不对外显示”这种情况,不再将页面更新为内容死链(页面无法找到),以免被百度误判。专题页面仍可访问,只是站点不设置入口、
不进行推广,用户没有访问来源而已。

继续阅读
黑色理想
  • 本文由 发表于 2018年3月11日00:00:00
  • 转载请务必保留本文链接:http://ilhc.cc/4868.html
5种方法获取Bing每日图片 技术分享

5种方法获取Bing每日图片

写在前面的:大家都知道微软的Bing搜索引擎首页每天都会提供了一些有趣的图片,而这些图片很多都是有故事含义的,很多网友每天去访问bing首页都是为了这些图片而去的。那么怎么Download下来呢,下面...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: