可以教机器自动标记垃圾邮件吗？

TL; DR：我们做到了，所以...是的。


这是什么？ 。该机器人会扫描整个网络中的新帖子，以查找垃圾邮件，并将其报告给各个聊天室，人们可以在其中进行操作。如果帖子是在网络上的任何地方创建或编辑的，我们可能已经看到了。该机器人利用了我们对垃圾邮件发送者的工作方式以及他们以前发布的内容的了解，提出了常见的模式和规则来检测新邮件和更新邮件中的垃圾邮件。如果您访问聊天室，例如Meta上的Tavern，木炭总部，SO Close Vote Reviewers和整个网络中的其他聊天室，则可能已经看到了SmokeDetector机器人。随着时间的流逝，该漫游器变得非常准确。

现在，我们利用多年的数据和准确性来自动投射垃圾邮件标志。借助大约58,000个帖子，以及超过46,000个真实值，我们可以利用大量数据。

这个问题解决了什么问题？垃圾邮件。 Stack Exchange是Internet上最受欢迎的网站网络之一，并且所有这些在某个时候都被垃圾邮件。我们的统计数据表明，每天大约有100封垃圾邮件通过系统过滤器。 。我们越快将其从主页上删除，对所有相关人员越好。不幸的是，即使在较大的网站（例如图形设计）上，垃圾邮件也要持续数小时才是闻所未闻的。被删除。该项目是对它的扩展，现在可以在几秒钟内删除垃圾邮件了。

我们在做什么？

3年来，SmokeDetector已报告了整个Stack Exchange网络上的潜在垃圾邮件，以便用户可以适当地标记帖子。用户提供了反馈，以通知机器人检测是否正确（称为“反馈”）。此反馈存储在我们的Web仪表板metasmoke（代码）中。随着时间的流逝，我们已经使用该反馈来评估我们的模式（“原因”）并提高我们的准确性。我们的几个原因都达到了99.9％以上的准确度。在Stack Overflow上，当前标记垃圾邮件帖子的用户的准确性为85.7％。其余所有网络用户的准确率均为95.4％。我们确定可以击败这些数字，甚至更快地消除Stack Overflow和网络其余部分中的垃圾邮件。我们利用每个现有原因的准确性得出一个权重，该权重表示系统是否确定帖子是垃圾邮件。如果该值超过特定阈值，系统将在该帖子上最多投放三个垃圾邮件标志。我们使用许多不同的用户帐户和Stack Exchange API投射多个标志。通过metasmoke，用户有机会启用其帐户来标记垃圾邮件（如果您已经这样做的话，也可以）。如果帖子超出每个用户设置的阈值而有资格进行标记，则会从已启用的用户池中随机选择帐户，每个账户都投一个标志，每个帖子最多可以标记三个，这样我们就不会单方面n毁。 （因此，不会选择在网站上拥有主持人特权的帐户来投射垃圾邮件自动标记，并且在删除阈值为3个标记的网站上仅投射一个标记。）安全检查？

我们在设计整个系统时会考虑准确性和健全性检查。我们的设计协作可助您轻松浏览（RFC1，RFC2和RFC3）。使该系统安全可靠的主要因素是：


我们为用户提供了一个选择，使他们可以选择自动标记的准确性。在投射任何标志之前，我们检查用户设置的首选项是否能对至少1000个帖子的样本进行垃圾邮件检测，准确率超过99.5％1。请记住，目前人类在SO上的准确度为85.7％，在整个网络上为95.4％。这意味着即使在垃圾邮件阈值较低的几个站点上，也必须由人来完成。
我们设计的系统可以容忍错误-如果系统中任何地方出现故障有权使用SmokeDetector的用户可以立即停止所有自动标记-这包括所有网络主持人。如果发生这种情况，则需要系统管理员介入才能重新启用标志。
我们已经与社区经理进行了讨论，并祝福他们在项目上。 />
我们已经连续两个月每天平均投放60-70个自动标记，网络范围内总共投放了6000多个标记。这些标志由22个不同的用户强制转换。那时，我们有四个误报。我们希望能够自动取消这些特殊情况。不过这是不可能的，因此我们创建了一个功能请求以通过API撤消标志。同时，标志要么由用户手动撤回，要么由主持人拒绝。



上图绘制了原因的权重与其报告总数和准确性的关系。随着最小重量的增加，左侧秤上的准确性（黄线和最右边的Y轴）和总报告（蓝线）都会增加。绿线表示报告的总数（可能的垃圾邮件帖子），蓝线表示真实的阳性数，已通过用户反馈进行了验证。显示上个月我们每天自动标记的帖子数。 2月15日的涨幅是由于自动标记的数量从每个帖子1个增加到每个帖子3个。您可以在metasmoke的自动标记页面上看到此图的实时版本。很容易看到一天中有很多垃圾邮件报告进入。上面的时间是UTC时间。一天中最繁忙的垃圾邮件时间是凌晨4点至中午8小时。我们在聊天室中亲切地将这个“垃圾邮件小时”命名为
。该图显示了从网络中删除报告的垃圾邮件所花费的时间。此部分有显示这些平均值的三个趋势线。第一个红色部分是当我们只是将帖子报告到聊天室并且所有标志都必须来自用户时。您可以看到，在此期间，我们清除垃圾邮件的时间相当稳定。平均来说，删除一个帖子只花了五分钟多。

绿色趋势线是当我们发布单个自动标记时。在实施时，我们消除了从删除到删除的一整分钟的时间，而一个月后，与没有自动标记的情况相比，我们消除了两整分钟。

最后一部分，橙色，是当我们对大多数站点实施三个自动标志时。上周推出了该功能，但是删除时间已经有了显着的改善。我们正在等待1-2分钟的删除时间。

如上所述，垃圾邮件泛滥成灾。图中的虚线表示这两个不同时间段内的平均删除时间。虚线显示了UTC凌晨4点和中午的删除时间，虚线显示了24小时的其余时间。该图显示的一个有趣的事情是，当我们没有投放任何自动标记时，在垃圾邮件小时内删除时间会更长。在垃圾邮件发送时间以外，它已被更快地删除。当我们开始发布单个自动标志时，情况就相反了。删除垃圾邮件的时间少于平均时间。比较这两个时间段，非标记时间段结束时非垃圾邮件小时内的删除时间与单个标记时间段结束时大致相同。

我们将更新同样在几周内就会出现这些情况，以便更好地显示我们看到的带有三个自动标记的趋势。 。多年来，我们已经有许多有才华的开发人员为我们提供帮助，还有更多的用户提供了反馈以改进我们的检测规则。让我们知道您想要我们详细阐述的内容，您想知道的功能或希望添加的功能，或者我们在流程或工具中可能遗漏的内容。看一下我们真的希望Stack Exchange考虑的功能，以便我们可以进一步改进该系统（以及其他一些社区构建的系统）。我们将有木炭成员四处闲逛并回答您的问题。另外，也可以随意进入木炭总部聊天。


1截至2018-03-05，准确度阈值为99.75％，而不是99.5％。 >