在网络服务器上，我现在不得不补充一下，我注意到robots.txt为空。我想知道在空白的robots.txt和根本没有文件之间是否有区别。

这两种情况下，搜寻器的行为是否有所不同？因此，仅删除一个空的robots.txt是否安全？

#1 楼


在这两种情况下，爬虫的行为是否有所不同？


空的robots.txt文件实际上与未找到的文件没有什么不同，两个文件都不允许抓取。

但是，当搜寻器请求robots.txt文件时，您的服务器日志中可能会收到许多404错误，如此处的此问题所示。


只需删除一个空的robots.txt是否安全？


是的，请注意上述警告。

#2 楼

不会。没有区别。

服务器日志中会出现404错误，如果您订阅了诸如Google Web Master之类的工具，它可能会告诉您您还没有，但是就履带式机器人的行为而言-与您关心的任何机器人相同。