[Yahoo's Spider一直]用70-200淹没我们。自美国东部时间上午5:30以来的每秒请求数。我从未见过像这样的东西，即使是从过去滥用我们的无赖“实验”爬虫身上也是如此。 Robots.txt禁令还不够：我必须在负载均衡器级别通过IP阻止它们。由于他们过去滥用了Stack Overflow，因此我想您可能想知道。
雅虎的网络搜索就像是“由Bing供电”！现在。这很好，因为我们从来没有遇到过Bing的蜘蛛（又名MSNBOT）问题。
那么，雅虎的搜索现在和Bing的搜索一样吗？他们不知怎地，停止了这么猛的吸吮？
#1 楼
我认为没有理由解除对雅虎搜索机器人的封锁。 Yahoo可以使用2种方式使用Bing Engine。他们可以将其与自己的集成在一起，然后在网上松开一个混合型爬虫，也可以只是将查询发送到Bing Engine中，然后将返回的结果随口吐出来。来自Joel链接的文档这里还有另一个文件。雅虎在报告中指出：“从7月中旬开始，我们开始测试从必应（Bing）到雅虎的自然搜索结果的传递！”对我来说，这意味着Yahoo没有与Bing Engine紧密集成。他们只是在调用Bing Engine API。从所需工作的角度来看，这也是最有意义的，因为Yahoo Engine将长期消失。
这意味着一旦100％的结果来自Bing Engine，我们就不会再看到Yahoo Bot爬网了。因此，没有理由对其进行解锁。
评论
叮..机器人死了。擦眼睛下床那个邪恶的老机器人的叮当已经死了！
– Tim Post
10年7月28日在15:30
#2 楼
看来他们刚刚开始在Yahoo!上推出Bing搜索结果。约占25％的搜索量，目标是在8月/ 9月完全切换。我敢打赌，雅虎蜘蛛甚至没有再运行了，如果可以的话，它就没有太大意义了。评论
有趣的是，日本的雅虎将开始使用Google搜索结果：bbc.co.uk/news/business-10773532
–心怀不满的山羊
10年7月27日在23:48
@DisgruntledGoat：[对不起，乔尔回答您的回答]“日本的Yahoo”基本上是与美国的Yahoo不同的公司，由软银运营。这就是为什么Geocities在日本还活着的原因。日本的“ Yahoo Auctions”也等同于Ebay等。如该文章所述，Yahoo在日本的搜索中占主导地位（信不信由你）。
–删除
2010年7月28日在1:54
@Kinopiko-雅虎日本很重要，但几乎没有优势。他们据此控制了20％的市场份额，gs.statcounter.com /＃search_engine-JP-daily-20080701-20100717
–本·霍夫曼
2010年7月28日在21:21
@RandomBen：对该图形数据的来源存有严重怀疑。如果您的网站上日语搜索关键字流量很大，或者您的网站有日语翻译，请转到Google或Yahoo.co.jp，看看哪个搜索引擎为您带来了更多流量。
–删除
2010年7月28日在23:54
@Kinopiko：非常有趣。我将做更多的研究。该网站上针对美国的数字似乎是正确的，但令我担心的是，对于日本而言，数字可能还差得远。让我怀疑其他国家是否不正确。
–本·霍夫曼
10年7月29日在13:21
#3 楼
周一，我向Yahoo提出了搜索查询-致谢消息中包含以下有关向Bing过渡的说明，您可能会发现它与之相关：搜索很兴奋，即将进入Yahoo!的新阶段。和Microsoft搜索联盟；在美国和加拿大市场，Microsoft算法结果的集成已接近完成。 Yahoo!
搜索当前正在测试新的集成，您可能会在搜索过程中发现不同的体验。在此测试中，一些基本的搜索清单将使用Microsoft Web，图像和视频结果。所有
您期望Yahoo!提供的增强功能！搜索被保留
，我们将继续创新改进搜索体验。
由于这仅仅是一个测试阶段，并非每个搜索都会产生
结果
，并且变化可能不是很明显。从一个搜索到下一个
，相同
关键字的结果可能有所不同。由于排名和索引算法不同，搜索结果可能会以不同的顺序出现。可能没有包括以前没有出现过的搜索结果，并且您
可能没有看到以前没有出现过的搜索结果。感谢您的耐心等待，我们将对新的结果进行彻底的测试。
再次感谢您与Yahoo!
搜索。
评论
从字面上和比喻上。