在我的网站站长工具抓取错误中,我有一些拒绝访问的位置:

 .well-known/apple-app-site-association
.well-known/assetlinks.json
.well-known/.com
 


我有看一下RFC 5785,但我不太了解。我实际上很难遵循许多RFC文档,它们似乎充满了许多无法解释和模棱两可的术语。

此目录和这三个文件的用途是什么?它们的内容应该是什么?我还要为此担心吗?我应该在robots.txt中阻止该目录吗?

这是我第一次遇到此目录,我不认为该目录存在,并且也没有尝试填充它(这是可能是为什么它被拒绝)。我还不知道从我的站点到此目录的任何链接。

评论

拒绝位置通常是由于robots.txt或htaccess文件中的资源被阻止而导致的。请编辑您的问题并包括这些文件的内容,此外.... well-known /是否存在?

我实际上很难遵循许多RFC文档,它们似乎充满了许多无法解释和模棱两可的术语。你不是一个人!干杯!

如果我还没交叉眼,.well-known /应该是一个隐藏目录,不能用于外部请求,但是,对服务器端编码的元素(例如CGI程序,Java等)可用。

可能是从另一个页面上选了链接。这是一个垃圾URI的尝试,除非您在那里有资源并且有人知道它们,否则我不会担心。

另请参阅:Google bot对文件“ apple-app-site-association”和“ assetlinks.json”的点击在Google网站管理员中显示为错误页面

#1 楼

可以将RFC 5785解释为:


如果您创建一个新的URL(例如robots.txt或favicon.ico),并且希望将其放置在每个网站上的某个位置,则从此以后这样的URL以/.well-known/开头。

此外,您将在IETF中注册所有此类URL,以便所有这些URL都有一个很大的中央列表。


注册表似乎在这里:https://www.iana.org/assignments/well-known-uris/well-known-uris.xhtml您可以浏览注册表,确定是否有任何请求的URL有助于您的网站,以及创建文档,如果有帮助的话。

在问题中提到的URL中,只有assetlinks.json似乎已正确注册。

通常没有理由创建文档只是因为Google报告它们为404。Google希望在网站上收到404错误。他们甚至认为这是网站健康的标志,没有文档的URL返回正确的状态(404)。

评论


好的,从技术上来说,应该将我的robots.txt移到可公开访问的位置www.mysite.com/.well-known/robots.txt,而不是仅仅放在www.mysite.com/robots.txt吗?但是最终现在没关系了吗?

–Arth
16年7月12日在16:17

不,我不会移动robots.txt。该URL早于此著名法令创建,我希望它将保留在其通常的位置。

–斯蒂芬·奥斯特米勒(Stephen Ostermiller)
16年7月12日在16:18

太酷了,这很有意义..谢谢您的帮助!如果您也可以解释所有其他RFC,那将会很不错:)

–Arth
16年7月12日在16:21