当某些页面被永久删除后,返回410而不是404是否有意义?在这段视频中,马特·卡茨(Matt Cutts)说Google对待它们的方式相同,但是是否还有其他理由实施410(技术上的正确性除外)?

评论

我自己对此很纳闷。似乎410不再使用了。

#1 楼

在我们的网站上,我们最近针对永久删除的页面实施了410个错误。我们在Google索引中大约有4000万个页面,每天被Googlebot抓取200万个请求。

清理数据库后,我们发现大量404错误始终显示在“抓取”中网站站长工具上的错误。当我们切换到410个状态而不是404个状态时,每天的错误数量减少了一半,而请求总数却保持不变。这样一来,每天最终可以更成功地抓取页面。看来状态为404的页面已被爬网多次,然后才完全从索引中删除。

所以我想说,是的,绝对值得在适当的地方使用410来维持您的Google抓取预算。

评论


感谢您的信息@stefan。想知道1)实施更改花费了多少时间并将这些页面从索引中删除2)您是否发现由于此更改而增加了流量?

– Saurabh Goel
20 Jul 14'10:22



#2 楼

在这个世界上,不止Google。 410明确告诉机器人该文件已消失。 404没有。持久性机器人可能会一直尝试无限期地查找404,而他们可能会立即停止尝试查找410,这会使您的服务器非常满意。

评论


不过,它是双向的:真正笨拙的机器人只能识别200和404。

– Peter Taylor
2012年2月7日在21:56

@Peter不确定这很重要-如果它们笨拙并且不理解HTTP代码,那么会造成什么危害?如果您使用404,那么糟糕的机器人和好机器人都将继续请求该页面,而使用410的机器人则只会请求该页面。

–心怀不满的山羊
2012年2月7日在22:47

@DisgruntledGoat说了什么。参见Postel定律。糟糕的实现根本无法解决;您打算做什么,同时尝试解决所有这些问题和每个特定问题?很少有例外,例如IE6在浏览器领域的长期统治,但总的来说,这是不值得的。

– Su'
2012年2月8日在5:03



#3 楼

除了搜索引擎数量超过Google之外,没有理由假设Google不会改变对待410个响应的方式。确实,这似乎已经发生了:视频中Matt Cutts引用的信息来自2007年,而John Mu在Google网站站长中心论坛上于2009年发布的帖子中则另有说明:

” 404和410的问题在这里。正如在这里和其他地方的其他人所提到的,过去我们通常会一视同仁。
但是,在研究了网站管理员在实践中如何使用它们之后,我们现在在对待410 HTTP结果代码比404更具“永久性”。因此,如果您完全确定某个页面不再存在并且将不再存在,那么使用410可能是一件好事。”

因此,看起来Google现在确实在处理410个响应,而不是处理404个响应。

#4 楼

根据我的经验,Google无法理解410个错误代码。

前一段时间,我更改了整个网站,因此所有旧网址均为“ 410 Gone”。我无法使用301重定向,因为与新URL没有直接关系。

我用.htaccess告诉Google旧的URL已经消失了,但是它一直告诉我网站上存在404错误。我检查了抓取错误报告中的URL,它们都是410,而不是它指出的404。

#5 楼


这个世界上不止Google。


引用真理。根据您的要求,要告诉漫游器(也可能是人类)某个页面已被永久删除,我实际上选择了301重定向到一个页面,以说明(如有必要)为什么删除了内容,或者选择漫游器/用户返回索引页面。

鲜为人知的HTTP错误代码通常没有得到全面的支持,理解或实施,因此我通常坚持使用那些以确保预期和希望的无缝浏览体验。

选择哪个选项取决于(现在)缺少内容仍要通过多少个请求。

评论


为什么需要解释删除意味着您需要使用该解释指向另一个URL 301?说明可能在页面本身上,显示为410,以便搜索引擎了解其已死。

–IMSoP
2012年9月11日在12:03