关于最佳前进方式的观点和想法是要考虑的非常有效的事情,但细节数据中却有魔鬼也一样我们花了很多时间重新审视我们如何根据人们的参与方式以及与他们在主站点上的参与之间的关系来看待元数据上的参与。查看直到最近才发现的有关元数据(我们保证永远不会将其称为元数据),很明显,我们在那里关注的重点需要大量工作和更好的资源。
堆栈交换所掩盖的数据是什么?
#1 楼
原始数据分析2019年4月进行了一项调查,调查了定期对Meta Stack Overflow发表评论并对其投票的用户数量,以及对Stack Overflow的回答如何预测参与度。
结果是,对Meta的发布和投票平均由200-300个用户完成,并且对Stack Overflow的回答与对Meta的参与呈弱正相关。
结果还显示,关于Stack Overflow的回答与参与Meta的相关性较弱:用户在SO上发布的答案越多,他们越有可能在Meta上活跃。但是,即使在每月最多回答10次这样的回答行为时,少数(〜10%)的Power Stack Overflow回答者也会在Meta上投票或发布。
这是经常引用的统计信息的来源该Meta拥有Stack Overflow活跃用户的0.015%。从这个角度来看,统计数字是正确的。但是,回想起来,这并不代表全部情况(如下所示)。该数据描绘了一幅图画,该图画促成了一些与Meta有关的良好意图的内部思考,这些思考一直持续到2019年底。 (事后看来事情总是很清楚)。内部的每个人(有很多人)都来自一个试图做出最佳产品和策略决策的地方,因为金钱,开发人员和其他资源有限,从而最大程度地使最大数量的用户受益产品团队成员和时间。
提出不同的问题
从现在开始到1月中旬(在此期间没有什么有趣的事情,对吧?)。我在内部团队实例中提出了一个问题,总结如下:
我首先查询了一些内部数据源,以查看2019年每月至少一次在MSO或MSE上处于活动状态(查看过除首页以外的页面)的登录用户数量,以及参与该活动的用户数量在此期间每月至少一次在MSO或MSE上发布(发表,评论,编辑,投票)。数字看起来像这样:
我观察到,平均每月有94K活跃用户和约6500个使用MSO或MSE的活跃用户(和这不包括匿名用户)。
参与度的平均值平均为7%,远低于其他大多数网站,但可以假设许多人纯粹是去MSO / MSE潜伏和阅读,那里的参与度不足不应被解释为
我理论认为,尽管访问MSE / MSO的SO用户的相对数量可能相对较小,但活跃(只是访问)MSE / MSO在站点审核领域非常活跃。
如果为true,则意味着MSE / MSO在为Stack Overflow的站点维护核心区域做出贡献的用户中具有不可思议的高度影响。
我向数据小组提出了一项要求,要求他们调查以下问题:在MSO / MSE上处于活动状态的帐户执行Stack Overflow上的内容审核/管理活动的百分比是多少,特别是查看提交的标志,查看执行任务并进行后期编辑,并检查这些nu为过去30或60天内访问过MSO / MSE的用户提供了mbers。检查并由Kevin Montrose和Jason Punyon进行了双重核对)对数字进行了计算,然后返回了以下内容:
TL; DR-Stack Overflow上很高比例(50 +%)的策展/审核操作来自至少偶尔访问MSO或MSE的用户。在我们研究的整个时间范围内都是如此。这些图表让您一目了然:
要深入了解它:
86%/ 91%在SO上创建的标记是由过去30/60天内访问过MSO / MSE的用户创建的。
75%/ 81%的SO上审核任务是由过去30 /在过去30/60天内访问过MSO / MSE的用户保存了60天的SO帖子中的61%/ 66%
44%/ 50%的自己内容编辑和84% /其他89%的内容编辑是在过去30/60天内访问过MSO / MSE的用户进行的
虽然准确地说,关于Meta的对话主要是由相对较少的用户(200-300),这些对话的读者包括在Stack Overflow上执行大多数策划/审核操作的用户。 Meta(基于较早的数据分析和一组不同的假设)的误导率很低,因为我们认为收视率与回答活动有关-事实并非如此。
我们还发现,主持人活动的数量没有任何变化的迹象,自从我们在2019年9月与社区的一系列危机以来,这个小组就在Stack Overflow上进行了此操作。每月至少参加过一次MSO / MSE(最初的问题只是看是否活跃-每月至少拜访一次):
对此,TL; DR认为,对Stack Overflow进行策展/审核的行为中,很大一部分(30 +%)来自至少偶尔对MSO或MSE起作用的用户。这是阅读MSO或MSE的用户执行的操作的约50%,尽管这是一个较小的群体。
59%/ 64%的在SO上创建的标志是由过去使用MSO / MSE的用户创建的30/60天
35%/ 39%的SO审核任务由过去30/60天从事MSO / MSE的用户处理
28%/ 32%的SO后期编辑是由过去30/60天内参与MSO / MSE的用户保存的
12%/ 14%的自身内容编辑和50%/ 57%的其他内容编辑是在过去30/60天从事MSO / MSE工作的人
所有这些的解释是MSE和MSO允许我们:
执行大部分的策展和审核任务,而那些发布了相当大比例(如果不是多数)的答案。这些人也提供了-20%的答案。
这使我们充满了圈子到以上问题中引用的引文:
查看直到最近才被忽略的有关Meta的数据(我们保证我们永远不会将其称为元数据),很明显集中精力需要大量工作和更好的资源。
Stack的许多人都在解决这些问题。希望这些数据和历史能够阐明一些有助于指导我们进行这项工作的问题和数据。
评论
因此,策展人是非常多的Meta访问者,如果我们想要干净的网站,那么一遍又一遍地取悦他们是不应该的。
– fedorqui'停止伤害'
20-2-18在14:31
“答案的百分比”仅提供给元演员,而不提供给元访问者,为什么?
– gna
20-2-18在14:35
...此外,请考虑进行编辑以阐明分析数据是否包括已删除的帖子
– gna
20-2-18在14:46
非常感谢Yaakov。尽管对SO进行投资的人已经知道了很多年了(如果只是凭直觉-或在某些情况下是Mod,可以在标记/评论队列和元帖子中识别相同的用户,则可能会令人感到沮丧),无论是指导/帮助人员,报告错误还是建议新功能),非常欢迎有人想到从其他POV提出社区关注的问题。似乎数字在讨论,这里有些尤里卡的时刻……我衷心希望这一势头能继续下去。我会让我的手指保持交叉(即使您没有!:p)
–乔恩·克莱门特
20-2-18在15:02
感谢您分享。在过去几个月里,Meta一直在说:“不,我们的价值远远超过您的微积分的0.015%”。我认为Pekka的评论完全正确。关于“用户保存的SO上的* 61%/ 66%的*后期编辑*”,“保存者”在这里是什么意思?由...所提交?或者是其他东西?
– TylerH
20-2-18在15:45
嗯,我想知道其中有多少内容编辑统计信息只是Perter Mortensen ;-)
–不要惊慌
20-2-18在16:49
任何其他人都发现具有讽刺意味的是,这个答案包含指向问题和答案的链接,指出这些结论可以追溯到2019年7月?
–匿名
20-2-18在18:32
很高兴看到这个分析。我可能还建议您查看过去几年的趋势。我不知道我是否一个人,但是我确定在2019年中期之前已经受够了,即使我看到一年前我会花时间帮助的事情,我也没有刻意“参与”,更不用说两个了。
–jscs
20-2-18在18:40
好的,现在管理层有很多数字可以知道元数据中的每一个常规知识已经很长时间了:元数据至关重要,不应忽视,并且SE不能简单地摆脱它们以为明天会是更好的一天比昨天。现在,SE的管理层将采取什么措施来恢复社区中破碎和丢失的信任? SE的管理层将采取什么措施来从许多站点的许多专家流失中恢复过来?
– Victor Stafusa
20-2-18在19:29
@VictorStafusa很好的问题。我建议您明天(最好在这个时候)检查MSE。
– Yaakov Ellis♦
20-2-18在19:34
@VictorStafusa如果真的有任何需要注意的地方,我会感到震惊。考虑到员工(例如SC)对Meta的一些评论以及一些裁员,除了将SO作为非营利组织或将其作为董事会成员之外,我再也没有看到任何有意义的变化了。
–匿名
20-2-18在19:43
只是想说我对这篇文章的欣赏程度,尤其是语气。自从我们听到了这种透明性和对SO错误的认可以来,感觉就像是很长时间了。就我个人而言,我发现公司的立场是(很难说)“ meta只是一群不代表社区的愤怒人”,但这听起来似乎有一个转变。非常感谢。
–史蒂夫·贝内特(Steve Bennett)
20-2-18在21:00
我认为其中缺少一张图表,它非常有价值:“来自Meta访问者的答案所占的百分比”。
–马克
20-2-18在21:01
根据我今天所学到的内容,@ Lamak讲述的这个0.015%的古老故事听起来像是“泰坦尼克号,遇见冰山”。当然,即使在那时,也有迹象表明-我回想起对突出的元帖子投了数千票,并怀疑公司可能低估了其影响力
– gna
20-2-18在22:30
实际上,数据中可能会有可见的效果。 Meta参与者的评论百分比在2019年略有下降(至少橙色线从50%降至〜40%),Meta Actors的所有其他线索保持不变,而参与度则在10月至12月达到顶峰(8 -10%则为5-7%)。这意味着Meta Actor确实降低了他们的策展份额(每人),可能他们正忙于在Meta上写作。
– Trilarion
20-2-19在10:12
#2 楼
我相信,在我离开公司的那段时间,人们对数据的理解才刚刚开始。 (时间轴至少适合。)多年来,该公司一直使用元站点作为与最活跃的用户进行沟通的方式。在2015年末的某个时候,我注意到元用户的模型有所不同。公司的某些部门没有将Meta视为影响者,而是开始推广用户的渠道模型。在渠道模型中,访问Stack Exchange站点的每个人都位于顶部,而您又会吸引到底部的付费客户。由于我们只有与Stack Overflow品牌相关的产品,因此该模型表明,推广Stack Exchange品牌的资源只有在将人们转换为Stack Overflow时才有帮助。由于种种原因,这种情况从未发生,因此,该网络的其余部分基本上完全从漏斗中排除了。元数据是另一种奇怪的情况。同样,没有直接的方法可以将元用户吸引到付费客户中。显然,将偶尔的读者转变为客户的努力要花费在主站点上的功能上要好得多。从这个角度来看,播客的最新化身看起来相当成功,因为相对较小的横幅将许多用户吸引到了该营销工具中。年度调查(主要用于协助营销)还表明了直接接触被动用户的希望。同时,元站点往往会分散注意力。
去年12月,该公司存在一个非常现实的风险,该公司会将支持,错误跟踪,功能建议和公告转移到元站点以外的其他机制中。剩下的唯一内容是讨论,我怀疑这些讨论被允许留下,因为它们很容易被员工忽略。 (应该注意的是,替换这些功能将非常昂贵。我相信,这是众所周知的。在安全带拉紧的时候,我并没有真正看到这是怎么工作的。)当时还没有进行内部讨论(包括新的工作机会),但是从我作为社区经理的角度来看,情况似乎非常黯淡。 Meta是我所知能真正影响社区而又不更改主站点功能的唯一真实方法。
就在我离开的那一刻,我们内部的Q&A团队发了一条帖子,指出当Meta如果您查看在此发布的人员,那么它只是活动用户的一小部分,而当您按活动用户访问的频率来查看活动用户时,这一比例要大得多。 (我手头没有数字,但是如果您跨模式加入AccountId,则应该可以通过SEDE将其提取出来。)即使在删除了一些元数据路径之后,例如Hot Meta Posts(也就想到了)听起来很模糊(NSFW),主要的活跃用户经常是meta的狂热读者。
传说CM曾经负责响应每个meta上的每个帖子。 (“ Alex,我将拿'不扩展的东西'为1000,Alex。”)当我离开公司时,根据政策,员工很可能会忽略元数据。实际上,将Meta纳入公司沟通策略的一部分,对于作为Stack Exchange社区成员的我来说,是极大的鼓舞。它并没有使最近四个月的伤痛消失,但是它确实表明有一条重建破裂关系的途径。尽管公司在应对当前挑战方面处于劣势,但我对其余许多员工重新专注于社区(或避免社区)并避免分散而不是团结的分散注意力的能力充满信心。
评论
感谢您的见解。在最后一句话中,“位置较差”-与什么相比,您的意思是“更差”?
– ChristW
20年2月18日在1:00
您可能已经错过了,但是我在12月应CM的要求进行了一些研究,以了解有多少狂热的答题者定期阅读元问题。数量很大,嗯。太大,太大了,无法容纳在纽约的公寓中。给定答案百分比已经下降了多年,我想让最狂热的回答者进一步烦恼可能是一个糟糕的电话……我非常高兴地看到有人终于意识到了这一点。
–Shog9
20-2-18在1:03
@ChrisW与公司雇用乔恩,Shog9和罗伯特(或更一般地说,拥有更大的CM团队)的人相比,最明显的解读可能会更糟。
–布莱恩·克劳斯(Bryan Krause)
20-2-18在1:04
@ChrisW:除了布莱恩提到的较小的CM团队之外,其他团队(尤其是PM)也遭受了很多损失,这使得他们难以执行计划。问答环节的PM仍在宣传中,这是非常关键的位置。
–乔恩·埃里克森
20-2-18在1:22
@ Shog9:似乎我正在考虑这项研究,但我对细节的掌握不高,例如谁撰写的。 ;-)
–乔恩·埃里克森
20-2-18在1:36
一只小鸟告诉我,自从我离开以来,还进行了其他研究,并且由于您在这里工作了将近一周而我没有工作,所以您完全有可能知道我不知道的事情。但是,不管是谁做的,更好的研究(尤其是对结果的更好的解释)都是最好的。无论如何我都不会发布我掉入私人Slack频道的内容;-)
–Shog9
20-2-18在1:42
@VictorStafusa:我不知道有人坐下来说“让元用户成为客户”或类似的话。专注于收入增长的人们倾向于对meta的好处有更少的了解。老实说,不使用网络的人不会立即理解meta。即使不关注元问题的普通用户也会因为不真正知道其全部内容而被原谅。
–乔恩·埃里克森
20-2-18在6:17
@JonEricson对于仅偶尔使用该站点并且不习惯SO / SE而不了解元数据或它们如何工作的普通用户来说,这是可以的。但是,在SE工作的人们试图最大程度地提高收入,却至少不知道自己对功能所做的工作真是太可悲了。
– Victor Stafusa
20-2-18在7:29
因此基本上是这样的:一家依靠专家用户的免费劳动力的公司选择将这些用户视为仅具有销售潜力的商品,而将最活跃的用户视为负债,他们花了5年的时间才认为这可能不是一个好的计划,可能会有副作用。
–user56reinstatemonica8
20-2-18在7:48
@ user56reinstatemonica8:这并不完全准确。公司的某些部门当然使用了漏斗模型,并且在一定程度上将其用于战术上以平滑站点上的粗糙边缘,这实际上是一种查看事物的有用方法。最近,渠道模型成为查看社区的主要方式,并且在那时做出了一些最具破坏性的决定。
–乔恩·埃里克森
20-2-18在9:17
非常有见地。我一直想知道高级用户在哪里适合组织树。在某些方面,我们是狮子陷阱中的斑马肉
–斯科特·塞德曼(Scott Seidman)
20-2-18在11:35
@ScottSeidman这有点间接。您最需要让斑马保持快乐,至少不要让斑马继续前进。这里传达的信息是,令人惊讶的是,斑马在狮子陷阱旁边的水坑里互相倾听。
– Trilarion
20-2-18在13:46
我可以公开地说:很高兴看到您和@ Shog9在这里进行对话。您的集体专业知识和才华不再是公司的核心,这对公司确实是打击,但我很高兴看到社区没有失去您的见解。再次感谢你们!
–nitsua60
20-2-18在16:19
@VictorStafusa确实,我到过一些地方,因为过去几个月发生的事情而被炒鱿鱼。我仍在尝试弄清他们如何不将Meta用户连接到活动的主要站点用户。我的意思是,除非他们已经在主要站点上活跃,否则大多数人没有理由加入Meta!
–匿名
20-2-18在19:35
@ nitsua60:成为您所成长的社区的CM的一大好处是每天工作很愉快。 (而且常常也是在深夜!)我简直不敢相信自己也能得到报酬。向可能正在倾听的SO领导层传达的信息:最近几个月的事件打破了我对公司的信任,但极大地增加了我对社区其他成员的信任。既然您已经停止挖掘,我希望您也可以学会信任那些关心共享知识的人们,即使面对公司的不利因素,他们也将致力于奉献知识。
–乔恩·埃里克森
20-2-18在21:08
#3 楼
数据可能以有趣的方式引起人们的兴趣,例如一旦您发现以前可能会躲避的相关性就变得如此明显。我将给出一个非常高级的答案,因为具体细节仍在解决中,我不想以比我确定的方式更聪明的方式向人们断言。我们知道主要站点和元站点的参与模型(或如何获得活跃和参与的用户)不同,并且在我们的一些较小的站点上,它们的差别很大。我们不了解的和难于发现的是模型不同的方式以及规模上的差异。
在Meta上投入大量资金的人可能并不总是在使用方式上表现出相同的行为,但是它们的共同点是,他们经常在主要站点上执行多少项细心的工作。因此,不用问“谁是meta上的参与用户?”一个人可能应该说:“谁是主要站点上从事工作的看护人,他们在meta方面有什么共同点?”
我认为我们没有完全适应模型我可以看一下查询并写一些“ Cliffs注释”,但是当我们看到谁真正在这里投资时,直到看到我们改变了看待它的方式之后,我们才发现很多人。 >
MSE和MSO上有几百人的团队,这些人基本上表现出我们通常在主站点上看到的那种参与,而在主站点上没有太多活动。很容易将其视为整体参与,但是这样做严重削弱了您至少在更大的站点上对元站点倾向于具有的覆盖范围的重视程度。
我认为我们在最终弄清它并对其产生影响的方式时,最终可以更加谨慎地描述和记录它。此外,与往年相比,过去10年左右的增长异常大,这既表明参与和脱离接触的行为增多,最近发生的一些事件可以解释这一点,但仍需要长期进行更多研究。数据一直在那里,我们只是没有从正确的方向看。
评论
“ ...在MSE和MSO上都有几百人的小组,基本上表明了我们通常会在主站点上看到的那种参与,而在主站点上却没有太多活动...”-您怎么样在这里第二次定义“主站点”?就这样吗?还是网络上的任何站点?此外,您考虑的参与时间框架是什么?如果我已经在主要站点上暂停了几个月的活动,但是仍然参与meta,那么我会属于哪一类?
–数学
20-2-17在18:37
Tl;博士:镇议会的会议很无聊,出席率很低,但是事实证明,整个商会会员都在阅读会议记录。
–Shog9
20-2-17在18:49
不赞成投票-并不是一个真正的答案,或者至少是一个非常回避的答案。
–SébastienRenauld
20-2-17在18:52
@SébastienRena,我很感谢您的位置。我的目的不是逃避,而是要给我我所拥有的,即使不是很多。这比故意不回答直到“一切都清楚”(客观上可能永远不会发生)要好,而且回答要比更好。如果我有更多可靠的信息,我会提供(我想一旦我们确定了很多事情,就会提供它)。
– Tim Post
20-2-17在18:57
@Mithical大多数报告是按季度进行的,并且在完全正常的情况下,当我们设定未来的元互动目标时,按季度进行是很有意义的。过去六个月确实使事情发生了相当大的偏差,但并没有太大的变化,以至于在检查整个2019年时,以前的活动会使您不那么明显。如果有的话,您会属于所有类别,这对于很多保持登录状态但没有突然做其他事情的人来说并不罕见。无论如何,几个月后数据才能再次正常化。
– Tim Post
20-2-17在19:06
在Meta上投入大量资金的人们可能并不总是在使用方式上表现出相同的行为……直到最近,我打算两者兼而有之。 SE Inc.可以说服我再次为任何主要部门做出认真的贡献...
–GhostCat
20-2-17在19:07
@Tensibai在撰写本文之前,我没有要求批准此帖子或向任何人显示。
– Tim Post
20-2-17在19:07
好吧,它足够直观,我依靠它来工作了9年,@ anonymous。但是不同的人有不同的直觉...数据总是有危险:如果您不小心,则会挑剔事实以强化现有的偏见,而不是寻找可以解释所观察到的事实或揭示哪些内容的事实。是看不见的。
–Shog9
20-2-17在19:15
人民,这都是关于视角的。你们中的某些人认为Tim在逃避,因为他没有分享太多事实。另一方面,蒂姆认为,让我们积极主动地展示我们现在所拥有的,而不是等待6-8个时间单位,直到一切都固定下来。让我们只记得我们不能同时拥有这两种方式...
–Luuklag
20-2-17在19:16
@Luuklag同意。而且,对我来说,这对于查看此类数据的复杂性来说是完全适当的响应,并且比抛出一些数字说:“哦,在我们认为X%的用户使用元数据之前,这是一种更加合理的方法。现在我们意识到它的Y%”-这种方法本身是错误的方法,所以我认为当更多细节无用时,它会要求更多细节。谢谢蒂姆。
–布莱恩·克劳斯(Bryan Krause)
20-2-17在19:28
细节可能看不清楚,但这是答案。而模糊的语气似乎是“元数据可能比我们最初认为的影响更大”。
–萼
20-2-17在19:31
@TimPost谢谢您的回答。我和其他人一直抱怨的一件事是,公司员工与我们之间的沟通不足。尽管我希望有更具体和结论性的信息,但我感谢您努力与我们交流您目前所能掌握的最佳信息。我相信您或其他人将继续向我们提供当时最好的数据。
–约翰·奥米兰(John Omielan)
20-2-17在19:45
谢谢您的回答。非常感谢您的交流。
– Stevoisiak
20-2-17在20:27
@SébastienRenauld,但这篇文章不是“法律/市场语言”,它分享的是可以从进行中的不完整工作中分享的东西,这是一件好事,也是近期急需的许多事情之一。我们希望像这样早点看到不完整的想法,因为这就是在将它们固定下来之前可以帮助改进它们的关键所在。我理解这种挫折感并有同样的感觉,但是请不要朝正确的方向猛烈踩踏,以免毒害油井。
–user56reinstatemonica8
20-2-17在21:50
我们的一位开发人员(实际上是拥有尤里卡时刻的一位开发人员)将很快受到人们的青睐。我没有ETA,因为他们必须吸收大量内部内容并准备好进行展示(尽管其中很多内容实际上并不是全部内容,很难在没有上下文的情况下进行解释)。无论如何,他们说他们很快就会删掉一行,以明确我对我真正解释的内容还不确定的地方。因此,应该很快会有另一个答案。挂紧:)
– Tim Post
20-2-18在4:01
评论
@anonymous肯定会随着那些用户退房而下降15%的标记?这也许可以解释报价中的“直到最近”。一旦那些勇于提出批评的勇敢者离开,他们就可以自由统治,因为君主只需要对钢铁银行做出回应。@AdamLear-为什么[支持]在这里不适用?问题不是要讨论;而是要讨论。它问的是公司的一个具体问题,除了一个具体的答案,这个答案似乎很适合支持标签。
@Mithical [support]通常是有关网站功能的问题。我...对Wiki上添加了“您希望得到具体答案的问题”措辞的编辑略有不同意,我看到它已经回滚并重新添加了……要考虑一下。 br />
不久前有人预测,全新的TM改进的Stack Overflow ExecutiveLeadership®(高级领导层®)在成功解雇/疏散了拥有该机构机构知识的大多数人之后,将在未来几年逐步地重新发现这些东西。 Jeff&Co.早在2009年就已经发现并构建了该网站的工作方式。现在看来,我们正在“虽然拥有一个Meta确实很烦人,但拥有Meta实际上很重要”“
@Pekka看起来也是Clay Shirky很久以前的描述(为什么他们为什么让他离开Stack Exchange董事会),“这个故事已经写了很多遍了。看到这本书被写了多少遍,实在令人沮丧您希望在某个时候有人将其写下来,并且他们经常这样做,但是随后不会发生的是其他人不阅读它。这种重复模式的最慈善描述是“从经验中学习....“
@Pekka谢天谢地,您可以雇用更多的数据分析师来找出这些东西。 ;-)
因此Meta是清洁工休息室,即使其中许多人只是安静地坐在那里享受清洁的休息。
@gnat我首先发现这里的文章,提出的论点听起来有点像乔治·斯托克特(George Stocker)对SO Inc的描述的前提。我仍然认为我的逻辑是正确的,但是SO的结论是“糟糕,如果我们不能无限期地增加参与度,我们就无法赚取FU的钱”,而不是依靠来自访客的广告收入来维持地球上最精心策划的问与答-“生存”是70毫米/年。
@Trilarion互联网管理员将万岁。