机器可以自动标记垃圾邮件。能做得更好吗？

自从发布此帖子以来，我们已经做了几件事：


我们现在在通过准确性阈值（当前99.9％的历史置信度）的帖子上投射四个标志
SmokeDetector现在在所有自动标记的帖子上投射第一个标志。这应该有助于解决有关标记队列和标记后时间轴上的透明度的担忧。

有一个用户脚本公开了标记内联的自动标记活动。很漂亮：



我们试图获取带有自动标记的帖子的RSS提要以供聊天使用，但是聊天RSS充满了危险。

TL; DR：木炭是SmokeDetector背后的组织。自2017年1月以来，我们一直在系统确信垃圾邮件的帖子上自动投放多达3个标志。我们希望将其增加到帖子上的5个自动标记，我们甚至可以确保减少垃圾邮件在网络上的有效停留时间。

您是谁？

Charcoal是一个由用户运营的组织，主要负责检测垃圾邮件的机器人SmokeDetector。在过去的四年中，借助SmokeDetector，我们一直在Stack Exchange网络上寻找垃圾邮件以进行手动标记和销毁。 2017年1月，在Stack Exchange的支持下，我们开始运行“自动标记”项目，如果我们的系统确信垃圾邮件是垃圾邮件，那么我们的系统会在其上自动投射三个标记。如果您完全错过了这种情况，请在Meta Stack Exchange上撰写一个元文章-或在我们的网站上有一个更为简洁的解释。

您的情况如何？


您打算提出什么？ />我们想扩展我们的自动标记系统。目前，我们对确信为垃圾邮件的帖子最多投放3个自动标记；我们希望将这些标记的数量增加到5个，这些标记可以自动确定这些标记为垃圾邮件。

为什么？

我们对此非常了解：这是一个实验。最终，我们将尝试做以下事情：


减少垃圾邮件在被删除之前花费在网站上的时间；
减少自愿看到的人数

增加我们在垃圾邮件上自动投射的标志的数量应该可以完成以下两项操作：


自动标志几乎是即时的；手动标记需要花费几分钟的时间-这意味着增加自动标记与手动标记的比率可以缩短6个标记的累积时间和垃圾邮件的删除时间。
自动标记不会被人工转换。因此，被更少的人被迫查看垃圾邮件/与垃圾邮件进行互动。

我们得到的数据支持了这一点。在删除时间方面，我们发现启动自动标记项目时删除垃圾邮件的时间大大减少了。从主题的元文章中查看该图，可以很好地看到该图。在开始自动标记之前，垃圾邮件平均每天在网络上停留56个小时。有了自动标记功能后，平均每天7小时左右的时间就更少了。

这种变化对网站意味着什么？

如果这种变化继续进行，这些事情可能会发生：


用户只需使用1或2个手动标志即可将垃圾邮件标记为自动标记的帖子，而不是当前的3个。当然，仍然需要6个标记来进行核对。
完全由木炭会员（无论是否活跃在该网站上）发送的垃圾邮件可能会增加。
您会发现垃圾邮件在被删除之前在网站上花费的时间有所减少。
更少的人将不得不非自愿地看到每个垃圾邮件。

其中的最后两个都是无可争议的好东西。但是，前两个更具争议性，这是我们希望在实现此功能之前在此处进行元讨论的原因。以下是我们已经看到的主要问题，以及我们可以采取哪些措施，或者为什么我们认为它们不是问题-我们希望听到您的想法。

我们正在寻找的是减少删除时间的方法。下图显示了垃圾邮件目前在前几个网站上的有效寿命。我们希望平均时间有适当的减少，而顶部异常值则有明显的减少。



下图来自我们已经进行的实验过去一周以来一直运行，在每个与我们正在考虑的设置相匹配的帖子上随机投放1至5个标志。



原始数据就是这样：

PostCount  FlagCount  ATTD      StdDev  CommonMax
173        1          191.474   243.63  678.73
166        2          98.7831   127.88  354.55
167        3          69.2814   156.62  382.51
194        4          33.3196   61.46   156.23
177        5          13.5254   12.43   38.39

PostCount是样本大小； FlagCount样本中每个帖子上标记的数量； ATTD平均删除时间，CommonMax是95％置信区间的最大值。从这些统计数据中得出的主要结论是，我们很可能会看到平均删除时间减少了约5倍，而异常值减少了约10倍。

准确性和误报率

垃圾邮件标志是一项强大的功能，需要正确应用才能谨慎对待。这是我们最初构建自动标记系统时出现的一个问题，因此我们已经内置了安全保护措施。


我们仅在我们大于99.75％的情况下才标记该帖子垃圾邮件。 （从技术上讲，确切的确定性会因我们使用其帐户的用户所设置的条件而异，但始终高于99.75％-有关详细信息，请访问我们的网站）。
如果系统出现故障或错误，并开始标记不该标记的内容，则所有Charcoal成员和所有网络主持人都可以访问命令，该命令立即停止所有标记活动，并需要系统管理员的干预才能重新启用。在测试之外，无需使用kill-switch。
我们从不单方面批评一个帖子。除了自动标记以发布帖子外，目前还需要3个手动标记。这项增加提案仍然至少保留了一个人工标记。

我们还确保所有内容始终受到人为监督。虽然目前只有3个人要手动标记该帖子，但总有比查看系统决策和分类更多的用户。如果某个帖子被标记为不该发布，则我们会收到提醒，并可以提醒相关版主解决此问题。同样，这非常罕见：在过去的一年中，我们标记了66个本不该标记的帖子，相比之下，有29到592个垃圾邮件帖子（总准确率为99.7％）。我们允许用户设置自己的举报条件，只要他们不低于我们的基准99.75％的确定性即可。但是，我们建议您将确定的值定为较高的100.00％-将条件设置为低于此值的人，可能会发现使用其帐户标记的误报率更高。

此提案减少了所需的人工干预核发职位；为了弥补较低的人类参与障碍，我们将在投射额外的自动标记之前相应地提高所需的准确性。例如，我们目前要求在投放自动标记之前必须达到99.75％的精度；我们可能要求4个自动标记的精度为99.9％，而5个自动标记的精度为99.99％。 （作为参考，人类在95％的时间内准确率是多少，在Stack Overflow上的准确率是87.3％-这些是jmac（前社区经理）去年在开始自动标记时为我们查询的统计信息。）

在极少数情况下，合法帖子会被自动标记，我们还设有适当的系统来确保不会意外删除或遗忘该帖子。无论是自动标记还是不自动标记，都有很多人查看我们捕获的每个帖子，并将其归类为垃圾邮件。如果自动标记的帖子被归类为非垃圾邮件，则系统会发布警报以聊天，以通知我们。这样一来，我们就可以对必要的人员执行ping操作，以撤回其标志，并密切关注该帖子以确保其不会被删除。

为了明确说明其准确性，以下是可视化：



这是按我们正在考虑的5个标记设置的标记下的每个帖子的时间顺序表示（左右，上下） ，以及它们是垃圾邮件（绿色方块）还是合法的（红色方块）。

社区机构和参与

正如我之前所说，该提案将所需的人工参与减少到核对帖子。由于Charcoal成员还在系统投放的自动标记的基础上投放了手动标记，因此也可能增加Charcoal成员完全忽略的帖子数量，而无需活跃于此站点的用户的参与。有些帖子已经用炭笔在上面贴了6个标志（包括自动标志和手动标志），但是适用于该帖子的比例可能会增加。

我们认为这不是问题主题专业知识的术语：无论您身在何处，我们在Stack Exchange网络上看到的垃圾邮件都大致相同-您不需要特定站点上的任何主题专业知识或活动就可以分辨出什么是垃圾邮件，什么不是垃圾邮件。但是，我们确实意识到，网站的社区可能要处理自己的垃圾邮件；如果是这样，我们很乐意在该站点上关闭自动标记系统或将其保持在当前水平。只需在您网站的meta上发布一些内容并将其链接到我们。

现在怎么办？

我们希望将自动标记的数量从3个增加到5个，以减少垃圾邮件在网络上的存活时间。我们想听听您的想法。我们很高兴看到我们在Charcoal所做的很多事情对于这些站点来说是相当隐蔽的，因此我们希望尽可能开放。如果您需要数据或特定的报告，请告诉我们，我们将尝试将其添加到其中-我们已经有很多有关自动标记的报告，因此可能已经存在。如果还有其他内容，我们可以帮助您做出解释或帮助您做出明智的决定，请在此信息上留下答案或发表评论。木炭成员将在本文中闲逛以回应您的担忧，或者您也可以通过聊天来访问我们。