如果我不想设置任何特殊的行为，如果我不麻烦拥有robots.txt文件，可以吗？

#1 楼

缺少robots.txt文件不会有害。来自robotstxt.org网站：


允许所有机器人完全访问

用户代理：*
不允许：

（或者只是创建一个空的“ /robots.txt”文件，或者根本不使用一个文件）。即使您没有在机器人中指定任何内容，也可以使用。 txt文件，这是一种通知搜索引擎您XML Sitemap位置的好方法。您可以通过在robots.txt文件顶部添加类似于以下内容的行来做到这一点：


网站地图：http：//www.example.com/sitemap-host1。 xml


您还应该知道，没有它会在您的Web日志中创建很多404条目。

#2 楼

如果没有“ robots.txt”，则错误日志将在文件上显示很多404，这可能是一种烦恼，类似于没有图标的情况。

#3 楼

我认为这一定可以，否则网络蜘蛛将无法索引庞大的网络。

#4 楼

缺少robots.txt文件会使爬虫程序自行决定可以做什么和不能做什么。由于只需几秒钟即可避免任何歧义，为什么不制作一个允许所有代理访问所有内容的方法呢？

#5 楼

好吧，因为robots.txt包含您的站点地图的地址，所以没有一个可能有害。

#6 楼

根据您的内容，没有机械手文件应该没有问题，只要您希望网站上的每个页面都被搜索引擎编入索引即可。