“问题已关闭”通知实验结果和毕业

长期以来，用户一直在要求并讨论一种功能的优缺点，以便在问题被关闭时主动通知提问者。尽管很多年前的最初反应是考虑后我们不会实现此功能（出于各种原因），但在今年早些时候发布了关注帖子功能（该功能大大扩展了与帖子更新有关的收件箱消息），得到了社区的肯定），我们决定重新使用此功能。
在有关问题关闭更新第一阶段的公告中，我们包含了有关将要运行的与已关闭问题的电子邮件和收件箱通知相关的实验的通知：

星期一（4月20日）进行堆栈溢出作为A / B测试。此更新在问题作者关闭时向问题作者发送收件箱通知。想法是收件箱通知将引导用户找到其已关闭的问题，那里显示的帖子通知会鼓励他们编辑问题以进行改进。
如果未进行任何编辑，则问题将保持关闭状态，并且尚未在关闭后的一个小时内被删除，我们还将发送后续电子邮件，并提供有关下一步操作的指南。
它作为A / B测试运行，因此我们可以衡量这些通知在指导方面的有效性用户可以编辑问题。

仅在Stack Overflow上进行了大约两个月的实验。实验的目的是查看向帖子作者添加收件箱通知将如何影响：

作者在关闭后编辑的已关闭帖子的百分比。我们希望在这里看到积极的变化。
网站满意度/用户反应。我们希望用户不会对新的通知和电子邮件产生负面反应。
确定自定义电子邮件通知是否比收件箱通知更有效，以便在帖子关闭后导致更多帖子所有者编辑。

结果





总计
已编辑
差异
编辑后重新打开
差异




没有通知
> 43619
5464（12.53％）




仅收件箱
41（13.85％）
10.6％
9（3.04％）
124.8％


收件箱和电子邮件
5437（13.79％）
10.1％
15.5％


收件箱总计
39724
5478（13.79％）
10.1％
625（1.67％）
16.3％





实验目标：


已关闭帖子的已编辑百分比：

如数据所示，在对照组中（无通知），有12.53％的帖子是由帖子所有者编辑。
与发送收件箱通知后编辑的帖子的13.79％相比，编辑帖子的百分比增加了10％以上（与我们的第一个目标相对应）。这表明通知和/或电子邮件在使帖子所有者在帖子关闭后重新参与方面起到了积极作用。
这也导致编辑后重新打开的帖子数量增加了（1.35％至1.57％ ）。虽然这本身并不是实验的目标（此功能中没有旨在提高质量的编辑，而更可能导致重新打开帖子的功能），但很高兴看到，并且值得注意。 />


社区反应：我们没有发现有关新通知的任何重大负面反馈，也没有发现这段时间的网站满意度下降幅度无法解释，这可能与对这项实验的负面评价。

仅收件箱与电子邮件：

最初的实验未能很好地测试这个问题。合理的做法是在收件箱通知发出后一小时将电子邮件发送出去（只要不进行任何编辑，该问题仍会关闭，并且尚未删除）。
此外，系统默认接收未读收件箱邮件的电子邮件通知的时间间隔为3小时。由于实验中有99％的参与者收到了此自定义电子邮件，因此我们无法确定3小时间隔的电子邮件（发送标准收件箱通知，而没有任何与封信相关的特殊格式）有效。
由于这些因素，无法确定电子邮件的有效性（单独）。
值得注意的是，电子邮件的点击率是12.4％，是相对较高的点击率。



那么，现在该怎么办？
根据我们所看到的，我们决定对收件箱通知进行分级。以下内容现已在网络上实时发布：

问题被关闭时发布所有者收件箱通知
问题被关闭时发布所有者收件箱通知
不发送通知to：

由于迁移到另一个站点而关闭问题的任何人（此通知有其自己的通知）
OP或为解决问题进行最后一票的任何关注者（包括当问题作者自行复制自己的问题时）



关于是否毕业电子邮件，我们将开始一个新的实验（该实验将运行（大约一个月），我们将分为三组：


控制：仅收件箱通知，无电子邮件

A：收件箱关闭后发送收件箱通知，一小时后发送的电子邮件

B：关闭后发送收件箱通知，一天后发送电子邮件

我们将根据此实验的结果对电子邮件做出最终决定。我们欢迎您在下面提供反馈，并对实验和新功能提出疑问。