从被黑网站清除后，要求Google从其索引中删除数千个页面

#1 楼

Google会自动删除现在返回404状态的页面。他们将在Googlebot下次尝试抓取它们后的24小时内被删除。如果要稍微加快此过程，请为这些URL返回“ 410消失”状态。然后，将在没有下一次爬网的日子宽限期的情况下将其删除。

唯一的问题是，Googlebot可能要花几个月的时间才能爬网所有这些死页。如果您想加快抓取速度，则有两个选择：


将每个URL分别提交给Google Search Console URL删除工具。
创建一个临时站点地图，其中包含所有无效的网址，然后将该站点地图添加到Google Search Console。 （参考）

要获取所有URL的列表，建议您使用服务器日志。与site:搜索或Google Search Console相比，它们将具有更完整的URL记录。我会在命令行上使用grep。如果所有URL与您发布的URL相似，则可以为它们提供一个正则表达式模式。该URL的长度为31个字符，带有字母，破折号和数字。它以数字结尾。也许是这样的。它将查找其中的15到30个字符，后跟一个破折号和4到10个数字。

grep -oE '/[0-9a-z\-]{15,30}-[0-9]{4,10}' /var/log/apache2/example.com.log

#2 楼

通过ping Google重新抓取您的网站或重新提交站点地图将无法解决此问题，因为它会索引新的URL而不删除旧的/虚拟的URL。

用于删除URL的网站站长工具是要求Google从其索引中删除链接的唯一方法，但是，一次只允许提交一个链接以将其删除。

为了克服这一点，您可以使用chrome扩展程序自动执行此过程。它是chrome扩展商店上的付费工具（约9美元），但您可以在GitHub上免费获得。


转到此链接。

下载.zip文件。
提取并导入chrome扩展名。

现在重新加载“ URL删除”标签，您将看到一个上传.csv或.xls文件的选项。

从Search Console下载您需要删除的网址列表，然后在此处上传文件。 （这些链接将从您的站点地图中排除，因此您可以轻松找到这些URL列表）。

让该工具执行其工作，因为它肯定会花费时间，具体取决于您拥有的链接数。