<head>中使用以下行：我的意思是说，包含它毫无意义，而且多年来它一直没有任何用处。增加或减少该频率？#1 楼
您可以使用Google网站管理员工具控制Google抓取您网站的速度。每次访问。我们的目标是彻底爬网您的网站（以便您的
页面可以被索引并在
搜索结果中返回！）而不会对服务器的
产生明显影响带宽。尽管大多数网站管理员可以使用默认的抓取设置
很好（即无需更改，有关更多信息，请参见下面的
），但某些网站管理员可能有更多的
具体需求。
Googlebot采用了完善的算法
，该算法确定对访问的每个网站进行爬网的数量。对于绝大多数网站来说，最好选择“让Google确定我的
抓取速度”选项，这是默认设置。但是，如果您是高级用户，或者正面临服务器的带宽问题，则可以
自定义抓取速度，使其达到最适合您的速度Web
服务器。自定义抓取速度
选项可让您提供Googlebot
洞察力，以了解每秒最大
个请求以及您感觉到的两个请求之间的
秒数
最适合您的环境。
Googlebot确定网站管理员工具中提供的
爬网率值的范围
。这是
基于我们对您的服务器功能的理解。此范围可能
从一个站点到另一个站点，并且
随时间而变，这取决于几个因素。
将爬网速度设置为小于默认值
可能会影响
您的
网站在Google搜索结果中的覆盖率和新鲜度。
但是，将其设置为比默认值更高的值
不会改善您的
覆盖率或排名。如果您确实设置了
自定义抓取速率，则新的速率将
有效期为90天，
它将重置为Google推荐的
值。
您只能将此设置用于root
级别的网站以及未托管在该网站上的网站一个
大型域，例如blogspot.com（我们为它们分配了特殊设置
）。要检查抓取速度
设置，请登录网站站长工具
并访问“设置”标签。如果您有其他疑问，请访问网站管理员网站帮助中心，以了解有关Google如何抓取您的网站的更多信息，或在网站管理员帮助论坛中发布您的问题。
否则，您可能需要创建自己的过滤系统，以嗅探其用户代理，并允许或拒绝基于其用户代理的搜索引擎机器人。但这只会影响降低其频率。
#2 楼
要回答问题的第二部分，您可以使用网站站长工具告诉Google更改抓取速度：
在网站站长工具主页上，
单击所需站点。
在站点
配置下，单击设置。
在
中抓取率部分，选择所需的选项。
https://www.google.com/support/webmasters/bin/answer.py？ answer = 48620＆hl = zh_CN
在Bing常见问题上，它引用此帖子，建议设置
Crawl-Delay: X，其中x是每个请求之间等待的秒数。 />