我们目前的研究方法是什么？
策略（调查；用户访谈；比较站点分析；历史背景研究；数据分析），设计（用户访谈），构建（用户访谈），轮船（调查； A / B测试；元反馈）
说：
元反馈。在将更改发布到网站后，我们将监视Meta的错误报告和小的可用性/复制问题。
我们过去的研究方法是什么？
策略（元反馈），设计（元反馈），构建（元反馈），船舶（实验）
之前，流程的每个阶段都只是“元反馈”。现在，元反馈已降级为...错误报告和可用性问题。
请考虑在此过程的早期收集元反馈。
元反馈很重要。
现在，作为狂热的Meta用户，我可能会有所偏见。但是，Meta代表最活跃的用户-在大多数情况下已经在这里呆了多年的用户，通常是网络的现任或前任主持人，而最重要的是，该网站最常依赖于进行主持的用户。元反馈代表那些参与度最高的用户的反馈。
您参与度最高的用户（尤其是在“高影响力”项目上）的反馈很重要。这些用户最能告诉您网站作为经常使用网站的人会对网站的使用产生怎样的影响，他们可能会让您知道对他们来说很重要但对其他人则不太重要的事情。
我正在考虑诸如Worldbuilding.SE机器人Slartibotfast之类的事件，原因是该站点的设计发生了变化。由于来自社区中投入最多的那些人的元反馈，该机器人得以保存，并且网站身份的重要部分得以保留。
Journeyman Geek在这篇文章中很好地表示了自己：
我d还想指出，好吧，设计师对网站“独特性”的掌握程度将不会与曾经访问过网站的人相同。
正如我之前提到的，这与SE过去的工作方式明显不同。您正在参加一个团队，这个团队从事变更的每个阶段都已经十多年了，突然告诉他们“您只是在完成后提供反馈，而我们不会因为您的反馈而做出任何大的改变对不起！
这不会很好。
尤其是在当前社区普遍失去对公司的信任的当前环境下，从任何更改中删除他们的反馈只会进一步恶化任何剩余的信任。
另一方面，包括他们在内的过程以及与社区的合作将极大地帮助改善敬业的社区与公司之间的信任和关系。
我们，Meta社区是投资最多的人这些网站。
请考虑在进行“高影响力”变更的过程中尽早收集元反馈。
#1 楼
感谢您与我们分享您的想法。我可以理解，这与我们过去的做法大相径庭，并且可能加剧这里人们所感受到的一些信任问题。我想为此添加一些颜色；具体来说，我们如何从最活跃的用户那里收集反馈，以及为什么Meta不是我们这样做的主要方法。我们会通过其他研究方法（例如，取决于在该项目上，我们将通过1：1访谈与主持人进行对话，并在调查中针对高知名度人群等）。重要的是，要听取在该网站上投资最多的人们的意见，尤其是对于具有高影响力的项目，我们必须在产品开发过程的早期就掌握这些观点。
Meta不是我们与最活跃的用户交谈的主要方法的原因是它不能代表我们最活跃的用户。例如，我们最活跃的答题者中只有大约10％在Meta上。因此，例如，如果我们想听取答复者的声音，我们将通过其他方法来确定答复者的位置，而不是对Meta发出普遍呼吁，并希望积极的答复者能够做出回应。其他方法可以使我们按经过方法论检验的方法对研究进行细分，并且更广泛地进行，这是由受过驻地培训的研究人员审查过的。
评论
为什么两者都不做？我了解从其他来源收集信息-Meta不是，而且从未代表过每个人-但我不明白为什么他们不能协同工作。如果您使用Meta和其他方法，那么可以从不同的角度提供尽可能多的受访者，不是吗？
–数学
19/12/11在18:35
我赞成这个答案，因为它提供了诚实的外观，而不是罐头响应或无响应，但是除了这些方法之外，是否还可能收集有关Meta的反馈？仅仅因为站点中只有10％的人口活跃于meta上，并不意味着那10％的观点不相关，或者与其他90％的观点完全相反。
–好奇号刺猬索尼克
19/12/11在18:35
我从来没有接受过1：1的采访，也从未接受过调查。但是，我在Meta上非常活跃，因此我更喜欢在这里进行以下类型的讨论：公开讨论。因此，鉴于我在该网站上的投资是不言而喻的，您要么不在乎我的观点，要么您的方法论不如您所相信。
–科迪·格雷
19/12/11在18:38
您如何定义参与用户是谁？如果您告诉我们，我们花时间在Meta上以帮助改进站点的我们不是敬业的用户，那么您将发送一条可能不是故意的消息。
–fbueckert
19/12/11在18:43
@ SonictheReinstateMonica-hog回复：收集来自Meta和其他来源的反馈-如果我们的团队更大，这是可能的。现在，由于我们的团队很小，而且我们的职责范围如此广泛，因此我们必须针对使用的方法以及原因进行超级针对。
–唐娜
19年12月11日在18:57
无论如何，唐娜（Donna），非常感谢您花时间在这里回答。谢谢。
–数学
19年12月11日19:00
@flueckert如果您告诉我们，我们花时间在Meta上以帮助改进站点的我们并未吸引用户，请注意，这不是A所说的。它说，元常规是参与用户的一个子集，并暗示该子集不能代表整体。
–克里斯·尼尔森
19年12月11日在19:01
@Donna您认为在征集元反馈后，偶尔需要花多少时间/资源才能查看顶部的答案？
–user245382
19年12月11日在19:02
@CodyGray奇怪的是-我很惊讶-过去的秋天我有。我想一封电子邮件发送给了在夏季完成调查的n个人。响应最快的是“ in”，这是针对新关闭消息的相当长的“电话”聊天。因此，我想这有点儿抽奖，但是与只听Meta中的“同一个人”相比，这将提供一个更好的“所有人”视图？而且，作为mod，您最近是否还没有参与我们其他人尚未参与的反馈过程？
–辛迪·梅斯特（Cindy Meister）
19年12月11日在19:04
@ House-'ReinstateMonica'-man并不是说最重要的答案都包含了所有重要信息。并试图筛选通过Meta的所有内容？随着所有偏离主题的谷壳在漂移？我可以理解这不是最佳选择。
–辛迪·梅斯特（Cindy Meister）
19年12月11日在19:07
@Donna假设未活跃在Meta上的应答者愿意参加足够详细的调查以获得有用反馈的调查，除非您提供现金，否则有些天真。我通常会拒绝进行任何调查的请求，尤其是在询问我认为不相关的个人信息时。
– Alex
19/12/11在21:45
相对于1：1而言，Meta的一大优势是公开讨论。通常，我会对某个主题有一个初步的看法，在这里阅读并考虑我没有想到的要点，并意识到我的最初想法是错误的或不完整的。我不可避免地会以比我在这里1：1的方式给出更差，更有用，更细微差别的答案，因为我不会看到其他观点。
–user56reinstatemonica8
19/12/11在22:29
Meta更像是向您的SE员工征求反馈，而不是对社区进行民意调查。
–疯狂科学家
19/12/11在23:15
我曾经认为Meta不是代表性的，而是像民主国家一样-即Meta上的社区是出现在Meta上进行辩论和投票的人口的狂热子集。也许仍然存在，用于管理和设置每个站点的策略。但是，也许Meta社区就像超级用户一样-因此，如果SE希望使网站变得更容易并且适合新用户-有关UX的问题（例如“负担”）和一些社会问题（例如感觉“受欢迎”），那么狂热的用户并不是要进行投票的最相关的人群。
– ChristW
19年12月12日，0：05
作为Stack Overflow的0.3％最高回答者，我想说的是对meta缺乏可见的参与与对兴趣的缺乏是一回事。这只是意味着我认为我无能为力，因为其他人已经提出了我要提出的观点，而且可能做得比我更好。我不确定你期望什么？
– fuz
19/12/12在19:38
#2 楼
在线论坛讨论是有效且经常使用的定性数据来源。它有局限性，但可以很容易地与其他数据收集方法集成。如果SE的团队中没有任何人接受过这些方法的培训，则可能会受益于他们接受培训或探索文献。社区参与有明显的好处。元用户，特别是那些回答特定问题的用户，不是概率样本，但是上述方法都不提供概率样本。 。通过将元讨论与其他方法集成，SE将提高覆盖率以及社区参与度。
换句话说，从研究方法论的角度来看，我认为没有充分的理由在研究过程中不将“元反馈”与其他数据收集方法包括在内。可能还有其他原因。
编辑：基于聊天中的一些评论，我的意思似乎有些混乱。我感谢Donna的回答，并对此表示支持。我敢肯定她在表达自己的诚实信念。我只是不同意她。如果她在删除我的评论之前看到了我的评论，我希望她发现我的赞赏和不同意的说法令人鼓舞和有益。
关于其他原因：
另一位具有更广泛作用的工作人员表示，元数据会造成心理损害。即使Donna同意我的观点，即在此过程的早期从元讨论中收集数据将是有益的，但我认为SE不会这样做。因此，我不认为Donna不从元数据中收集数据的原因是做出更大业务决策（远离元数据的枢纽）的原因。
评论
“之上”是什么意思？只有问题吗？关于答案的相对位置的引用是不可靠的，因为它们取决于视图（投票/最旧/活动）以及接受的答案的更改和时间的变化（对于投票，活动和接受的状态）。
–P.Mort。 -忘记了粘土Shirky_q
19/12/11在20:18
@PeterMortensen是的，在这个问题上。大屏幕截图以及描述研究过程的相关段落。
– De Novo
19/12/11在20:20
您的答案似乎就像他们从未使用过元反馈一样，因此建议您这样做。但是，tgat当然不是。他们以前使用了元反馈，但是（对他们）并不令人满意。
–雷德瓦尔德
19年12月12日，0：57
@Raedwald我认为他们从未使用过元反馈作为严格的数据收集和分析方法的一部分
– De Novo
19-12-12'2:39
#3 楼
我很高兴地说SE似乎又朝这个方向迈出了一步。引用新反馈标签– [产品发现]：我们认识到来自元社区的反馈非常宝贵，我们希望在早期与您分享想法，以纳入您的反馈。为了避免造成混乱并管理期望，我们将尽最大努力明确每个里程碑/阶段所需的反馈类型。例如，在进入解决方案之前，发现阶段的功能将经历几次设计迭代，因此在进入构建之前，我们还有更多的空间来合并反馈。鉴于在Build的最后阶段对功能进行更改很昂贵，但可能需要用户接受测试。
为了阐明项目处于哪个阶段并与您设定正确的期望，我们计划引入新的功能。标签（总体可能是2-3个）。我们从所有Meta网站上的仅Mod产品发现标签开始。在发现阶段共享与产品或配置更改有关的概念时，员工将使用此标签。在大多数情况下，已经确定了方向和/或目标，并且可能在研究和发现上投入了大量时间。
这似乎是朝着正确方向迈出的一步；他们公开表示，Meta反馈对于在发布前收集信息很重要，并且正在积极致力于使该功能起作用。看起来好像Meta不再被完全忽略了，并且员工已经了解到他们需要我们的Meta反馈。所以，对此表示敬意。
评论
总结一下对元用户和元用户的SE（非）处理，我得出的结论是：那艘船已经航行了。双关语意。你读了我的想法。新发布的通知A / B测试（50％的测试）非常糟糕，充满了错误，您甚至无法摆脱它。
我赞扬您撰写本文时的语气。简而言之，大多数其他元用户理所当然地会采取更加沮丧的语气。这篇博文对我们来说是一个很大的打击。
您可能想将新流程与旧流程在博客中提出的进行对比。当您意识到Meta从第3步转到第4步时...令人大开眼界。我也猜想这样的帖子不再正确。
已删除评论：有关邀请参加调查的话题很长，这是此次问答的最高结果。
@Machavity“我也猜想这样的帖子不再正确。”确实，它不再正确，但这也是从2017年开始的，很快就会到2020年。事情随着时间而改变。
我预见到一些类型的帖子“我们的所有研究都表明这是个好主意，但是不幸的是该功能没有奏效，在meta的帮助下，我们最终可以对其进行改进，现在它可以了。”我想这是现在打算使用的可能的工作流程之一。
看起来StackExchange Inc需要进行类似于Wikimedia Foundation不久前的反思：mediawiki.org/wiki/Technical_Collaboration_Guidance/Vision（诚然没有任何明显的成果，但即使不尝试也无法成功）。 br />