我进入了包含四个项目的Late Answers审查队列,并通过将其编辑成相当大的形状来开始审查第一个。

在我完成工作时,其他人只是通过投票来评论同一条帖子,所以我只有一个“下一步”按钮,而不是“我完成了”按钮。我的编辑仍算作编辑;但不再作为评论。

更糟糕的是,其他三个项目也从评论队列中消失了。很好奇,我检查了从我下面抢走第一条评论的用户个人资料中的“评论”选项卡。果然,他还在一分钟之内“回顾”了其他三项内容,甚至没有通过简单地投票就解决明显的错别字。我必须浏览他的评论列表,然后再次评论每个帖子。

当然,除了我的评论不再计为评论。我的评论数量增加了零。他的排名上升了4位-完全修复了绝对无法使用修复功能的帖子。更糟的是,这是在一个很难收集四个检查点的站点上,因为检查队列中几乎没有空缺的24/7。 (编辑:现在,SO也是如此,我们在这里看到的是相同的行为。)

所以我们得到的是:


低于标准的答案那些没有被固定并被投票支持的东西会从实际上有能力并愿意修复它们的人们的雷达中消失。
西方最快的枪击式虚假评论可计入稀有的金质徽章,而精心制作的实际评论则不然。 br />
我想不出一个不会破坏其他东西的简单解决方案。


只允许将投票不算作评论是不可行的(它不仅鼓励废话,而且全面禁止劝阻投票;有些帖子确实是可以的,并且除了upvote)。
只是总是将评论视为评论,即使其他人可以更快地评论同一条帖子,也会导致评论点膨胀,并且只能解决一个虚假评论的问题,而不能像上述方案那样连续解决多个问题。
像建议的修改一样,让几个人复习同一项目已不再是“简单”,并且仍然引入了更多的复核点通货膨胀。因为不够坚固,因此无法打开各种蠕虫罐。

等等。我真的想不出所罗门的东西。但是也许其他人也可以。

评论

有时感觉压低数字胜过保持质量和标准

@BenBrocka:您是如何从德怀特所说的“完全摆脱评论”中得到的?他列举的问题不是评论。人们会因为错误的原因进行认真的审查。此外,他提供了问题的证据(尽管没有链接,但可以承认):他与某人的特定磨合清楚地提出了评论,而不是进行任何实际的评论。
可能的解决方法?支持,在新标签页中打开帖子。标记为已审阅,移至选项卡以执行实际审阅,并删除投票。尽管我想您的评论历史记录似乎很差,但是您会明白要点并能够完成需要完成的实际工作。
@Anna:再次发生,这次是在SO:stackoverflow.com/review-beta/first-posts/766806。有人对此事表示赞同(这不仅是措辞不当和输入错误,而且可以说是本地化的NARQ难以引导),这被视为一个评论。在我确定标题时,正文,评论和投票已不再进行。

我只是来这里启动相同的线程...谢谢

这肯定可以解释为什么初审队列似乎如此迅速消失。

完全同意:尽管笔者从该问题的其他答案中逐字逐句地复制了一个简单事实,但我还是偶然发现了该答案。如果一个人将答案与其他答案一起查看,而不是通过复查系统查看,那将是投下赞成票而不是赞成票。

“严重”损坏-可能是拼写错误,但我真的很希望它是新词。

只是再次发生。我单击以“审阅”,得到这篇文章,设置为工作编辑,当我完成审阅后,我所拥有的只是“下一步”按钮,队列为空。我不知道为什么要继续努力。

只是要添加另一个现实世界的例子来说明这一点,请参见对该问题的投票。这是“如何重写URL请发送代码的URL”问题的第6001版,这是一个cr脚,难以理解的版本。它具有三个压裂投票。

人们如何评价非答案:stackoverflow.com/a/12936258/19679,stackoverflow.com/a/12926953/19679,仅链接答案:stackoverflow.com/a/12877379/19679或糟糕的错误转储问题: stackoverflow.com/questions/12913358/…?我还需要找到在过去几天中遭到拒绝的彻底垃圾邮件实例。我开始在评论队列中向垃圾邮件发送垃圾邮件,因为这将垃圾推向了质量更高的内容。这需要停止。

我完全没有遵循整个审核工具及其周围的讨论,但是却提出了一个愚蠢的问题:为什么首先必须将投票作为审核的一部分?尽管我确定对此有一个元讨论。正在搜索......

明显的破坏行为得到了多个用户的认可,没有任何考虑。仅仅命名和羞辱那些毫无意义的用户有什么政策?

@Mac ahahahaha的编辑很有趣。但是获得批准的选票令人遗憾。

@Pekka:真正有趣的是同一篇文章不久之后又被污损了,但是这次是两次批准了以前的编辑,一次是批准了新更改,一次没有批准。我想一个人改变了主意...顺便说一句,如果您仍然笑着,请确保您已阅读第二次编辑的说明。

#1 楼

我认为问题的根源在于首先要鼓励进行审查。

我们鼓励提出问题。我们鼓励回答他们。我们会鼓励通过编辑问题来改善问题(针对具有较低代表的人)。但是,所有这些激励过程都经过了审查。只有在人们投票支持时,您才能从答案中获得代表。您只有在人们批准后才能从编辑中获得代表。在每种情况下,某些人都必须看看您所做的事情,然后说“好”。没有人批准审核。您得到需要审查的内容,对其进行审查,然后采取措施。无论您采取什么行动(只要采取某种行动),您都会获得奖励积分。该系统太容易上手了,因为零监督。只要您对帖子进行任何操作,就可以得到要点。 />
只要里面有一个闪亮的金色徽章,就会有人提出评论以获取它。取消激励措施,许多人可能会完全停止审查。也许后者可能是一个更好的选择。至少到那时,您会得到真正关心审阅的人员参与。

评论


因此,您认为如果您删除了人们仍将做出的所有徽章,声誉和评论?我对此表示高度怀疑。

–奥斯汀·亨利(Austin Henley)
2012年10月7日,下午4:17

@AustinHenley:你甚至读过我写的东西吗?因为我试图弄清您的印象是,我认为所有激励措施都是不好的,即使我特别指出与信誉来源相比,评论的工作方式也是如此。第一句话说出我的结论:“我认为问题的根源在于首先要鼓励审查。”您是否错过了强调的单词?

–尼科尔·波拉斯(Nicol Bolas)
2012年10月7日4:27



如果您希望人们做某事,则必须激励他们。

–奥斯汀·亨利(Austin Henley)
2012年10月7日4:33

@奥斯丁:废话。激励他们意味着您将吸引更多的人去做。但是,您将得到人们的审查而没有激励措施。其他激励措施起作用的原因是,它们是由社区发放的。评审激励措施几乎是在荣誉系统上进行的:我们相信您实际上是在评审材料,而不是仅仅花最少的钱就能得到糖果。

–尼科尔·波拉斯(Nicol Bolas)
2012年10月7日4:43

@奥斯汀-现在,一些曾经评论过的人已经停止这样做了,因为我们从来没有机会拒绝或改进编辑。无论如何,它几乎总是立即被另外两个人批准。

– Bo Persson
2012年10月7日10:25



秘密和烦人的“激励”并不是特别受欢迎。

–基督
2012年10月7日16:56

@tchrist:是的,当我关心互联网上的某些人的想法时,我会通知您。关于“激励”没有什么“秘密”或“烦人的”。

–尼科尔·波拉斯(Nicol Bolas)
2012年10月7日17:04

“没有什么烦人的”吗?相反,我向您保证,这是一个令人讨厌的无话。就像在黑板上听指甲。

–基督
2012年10月7日17:06



@msPeachy:如果您正在编辑,并且其他人(例如带有高票)查看帖子并单击“我完成”,则在完成编辑后,唯一可用的按钮是“下一步”。

– pjmorse
2012年10月10日在1:09

@tchrist,您可能会发现“ incentivize”是一个令人讨厌的单词,听起来像黑板上的指甲,但是您怎么能说这不是单词呢?它具有明确且立即显而易见的含义(“为……增加激励”),并且在言语,文字和词典中肯定得到了充分的证明。从记录来看,我什至不被这个词打扰。您的意见并非所有人都同意。

–李本
2012年10月11日19:07

如果我们评论了该怎么办? (开玩笑...我想)

–安德鲁·格林(Andrew Grimm)
2012年11月1日在2:01

我已经看到“后回答”垃圾邮件的评论被提升为+3或+4,这是荒谬的。我的大部分“后回答”评论都是“跳过”,因为我主要查找垃圾邮件或未回答的内容,但我觉得自己属于少数。我将全力以赴删除评论徽章;实际上,我更倾向于回顾是否没有激励措施,因为我实际上喜欢保持SO的整洁。

– LittleBobbyTables-互惠生
2012年11月13日在21:20

@ChrisGerken:这不能解释为什么评论队列中毫无疑问的错误帖子获得了高评价。正如LittleBobbyTables指出的那样,甚至垃圾邮件帖子也都受到了批评。这表明人们仅通过投票就可以进行“审查”。 MSO无法传达良好的编辑与该行为无关。

–尼科尔·波拉斯(Nicol Bolas)
2012年11月22日在16:52

@tchrist的价值:在名词中加上“ -ize”使其成为动词实际上来自古希腊语,因此我发现“ incentiveize”至少令人讨厌,但老实说。

–乔尔·德弗纳(Joel Derfner)
2012年12月8日15:01

人们为什么要纠正Wikipedia上的错误?那里没有金牌。

– BlueRaja
15年6月15日在17:08



#2 楼


就像让建议的编辑一样,让几个人复审同一项目已不再是“简单”的事了,并且仍然引入了更多的复核点通货膨胀。是您所描述的至少某些问题的切实解决方案。今晚至少有25%到40%的时间,我参加了“徒步竞赛”,就像您一样,我的编辑被接受了,但是到完成时,该帖子已被标记为“已审阅”。除了“不评论或不评论”系统以外,这种裁判多个评论的方法只是鼓励匆忙或避免对真正需要它们的帖子进行编辑,以免给新用户带来指导价值。
如果允许这样做,则使多个用户评论失败,将每个评论帖子指定为仅第一位用户查看该帖子,直到被“不确定”点击放弃为止是最公平的。

评论


我喜欢这个主意。他们还可以在步行赛中缓存评论,并将评论点授予最重要的评论。

–比尔蜥蜴
2012年10月7日13:07

@BilltheLizard通过“最实质性的审查”,您是说最实质性的编辑?也就是说,其差异最长的那个?

–基督
2012年10月7日在16:42

@tchrist是的,如果进行两次编辑。这可能有助于鼓励人们编辑需要改进的所有内容。 (此外,我认为修改比投票更有意义。)

–比尔蜥蜴
2012年10月7日17:30

@BilltheLizard我担心那种作弊的方式。我怀疑衡量该指标会相当容易。例如,通过编辑HTML注释,零宽度空格等。或更糟糕的是,添加可见文本(尽管更容易注意到可见文本)。

–德罗伯特
2012年12月12日15:20



@derobert如果添加HTML注释或宽度为零的空格比实际编辑帖子少的工作,我想这些东西应该打折。我认为这主要是鼓励进行实质性更改,而不是作弊。 (尽管任何使用奖励鼓励参与的系统都会有少量的作弊行为。)

–比尔蜥蜴
2012年12月12日15:37

@BilltheLizard很好,这两个都是复制粘贴的东西。我有点担心将作弊从批评(似乎相对无害)转向编辑(对我而言可能有害得多)。

–德罗伯特
2012年10月12日15:43

meta.stackexchange.com/questions/147060/…我确实感到缺乏“没有表决,但是确定”或“适合目的”的审查按钮。

–itsbruce
2012-10-18 4:58



可以作为功能请求提交吗?

–黑光闪耀
13-10-20在16:35

@BlacklightShining我已经有一段时间没有审查编辑了,但是在我看来这很快就解决了。您是否还遇到了这个“鞋类”问题?

– jonsca
13年10月20日在16:38

不确定……我确实知道,超级用户上的审阅队列(无论如何,我都可以访问这两个队列)。我失去了一些支持,但是我没有想到要检查其他用户的评论是否很好。

–黑光闪耀
13-10-20在16:42

@BlacklightShining我认为这可能是一个不同的问题。有时系统会过度计算可用的评论数量。如果您不断刷新评论页面,通常还会有其他帖子。当我们遇到我的答案中概述的问题以及建议的修改时,其他人将可以从试图同时改进该建议的人员的下方批准该建议发布。

– jonsca
13-10-20在16:47



#3 楼

问答之所以如此有效,是因为社区可以对帖子进行投票,评论,回滚,删除等。 / review失败,因为社区无法对评论进行投票,评论,回滚,删除等,更不用说主持人了。因此,必须为此配备一些系统,否则我们必须删除任何鼓励/审核的动机,例如徽章和声誉。

首先,我将停止为每只猴子提供2K即时访问/ review的权限,并从主持人控制的系统开始。最直接的例子是某种仅邀请系统,其中每个用户(从主持人开始)可以邀请/提议约10个其他用户访问审阅系统。主持人应能够根据邀请/提议者的活动来授予/拒绝访问权限。这样,我们就可以从质量更好的评论开始,从而最终获得更好的评论。 (2015年3月6日击中;我认为这将是过多的手动工作)

首先,我将停止使用基于信誉的系统,并切换到基于比率的系统来访问/ review。说,仅允许具有X数量的最小标记(也许相对于平台上的标记总数)且已批准Y量的用户访问/审查。这样一来,我们就可以从质量更好的评论开始,从而最终获得更好的评论者。那些真正愿意以正确方式清理网站的人通常不会在乎徽章和声誉(例如,在Wikipedia中)。但是,统计信息应在用户个人资料中保持可见,这对于将来的其他主持人选举非常有帮助。

评论


大声笑“具有2k访问权限的猴子” ...但限制访问听起来像是一个好主意,IMO

– Pekka
2012年10月17日在21:24



奖励悬赏这个答案是因为我个人和主观上都非常同意。其他答案绝不表示不尊重,其中一些很棒,而且包含有价值的想法!

– Pekka
2012年10月21日19:10



对于使用更晦涩的语言的猴子来说,很难获得2K,这是有效的屏障。因此-1。主持人在处理晦涩的问题时也不会注意到这些猴子。

–tomdemuyt
2012年11月19日23:45

@tomdemuyt:如果他们建议的修改具有相对较高的接受率,我不会预见到问题(当然,真正的审稿人会在审阅系统修改后)。

– BalusC
2012年11月20日13:02



替代方法是取消/ review的动机。那些真正愿意以正确方式清理网站的人通常不会在乎徽章和声誉(例如在Wikipedia中)。但是,统计信息应在用户个人资料中保持可见,这对于将来的主持人选举非常有帮助。我会做的是,个人激励措施会使人们想要激励措施。取消激励措施,您就会得到剩下的人。

– Wes
2012年11月27日14:22

猴子说话:您可以在SE上花费三年的时间,而不会超过3k,但是您可以了解网站的工作方式。但我同意删除徽章

– Tobias Kienzler
13年7月4日在11:28



...无论如何,-1表示基本上是由精英评论者组成的社交网络

– Tobias Kienzler
13年7月4日在11:29

@TobiasKienzler:只是做一些好的建议编辑?当然,您会被评论者吸引,最终被任命为另一位评论者。或者,我们甚至可以对此进行扩展,根据已批准的建议编辑的数量及其与被拒绝的建议的比例,创建所有最佳建议的列表。说这是一个精英主义制度,实在太过分了。 -1为您的评论。 / review的当前形式绝对撕裂了。他们永远不应该从未为此提供过徽章/声誉。在质量控制方面,人类只是行不通。

– BalusC
2014年4月30日15:24



@Tobias Kienzler:您喜欢哪种选择:烦人和小故障的“听觉”(以前是“蜜罐”)?维基百科式的无政府状态,每只没有任何东西的猴子几乎都能参与其中?注意:Ī̲在Wikimedia项目中工作了8年,但是现在您在这里看到我了,而在那儿还没有。恕我直言,基于责任的治理/管理必然会引入某种精英主义。

– Incnis Mrsi
2015年9月5日在18:58



#4 楼

只是快速更新状态:我们正在认真对待这一点,但不希望得出结论(或做出轻率的更改,除非可以证明它们有帮助)。以前,我们已修复了以下错误:如果有两个审阅者审阅同一项目,则只有一个获得该评分(实际上,这仅影响到某些类型的审阅,但其中之一就是编辑,因此特别糟糕)。 br />
Emmett为这些队列实现了一些更好的分析工具,这应该使我们更好地了解问题的范围和程度(一旦启用)。


2012年12月13日更新
引入了手动暂停审阅特权:

...针对在短时间内未能通过多次审阅的人员...

更新2013年1月29日
引入了自动审核暂停功能:

...我们现在正在自动将公然的滥用者逐出队列... />

评论


天啊。查看新的赏金描述中与之相关的答案,这是一个比我想象的还要糟糕的问题。

– Pekka
2012年10月23日在13:15



有趣的是,对该答案的投票之一不是来自审阅队列,而一位审阅者也对此做了标记(导致删除)。尽管在可能进行投票的队列中没有多次审阅的意图,但它发生的次数足以使它成为有用的指标...

–Shog9
2012年10月23日19:19

“可能是有用的指标”,是指标记和删除?

– Pekka
2012年10月26日在7:28

问题:“后期审阅”队列中有一个特定的用户(我相信大家都可以猜到是谁)对所有内容进行自动投票。我什至已经将他们举报到team@stackexchange.com来举报垃圾邮件,但到目前为止,他们仍在自动举报-至少有1700名可疑举报人。我知道改变需要时间,但是这有点失控。我们现在还能做些什么,还是耐心地坐下来等一下?

– LittleBobbyTables-互惠生
2012年12月5日13:54



@Little现在我很想知道那个用户是谁。

– Pekka
2012-12-5 23:15



@Little:此用户(和其他用户)在我的列表中(三项审核失败)。我已经开始直接与一些人联系,但是我们还有其他工具正在使用中。

–Shog9
2012年12月5日23:34



仅在当前系统良好(或至少不错)的情况下,不希望匆忙进行更改才是好的。当当前系统很糟糕(例如当前的审阅系统)时,由于我们不想着急处理而等待实施那些更改,这正在积极地恶化Stack Overflow的内容。最好的方法是冻结当前的审核系统(不允许进行更多审核),直到找到解决方案为止。

–巴勃罗
2012年12月12日上午10:25

#5 楼

彻底的解决方案:

添加“看起来不错”按钮以增加评论计数,或者使“不确定”按钮增加评论计数,但不包括从删除评论队列还有谁。必须有一种方法可以让人们说:


我已经审查了此项目,但我认为它不需要我的任何注意。


“不确定”不会增加评论数量的事实会阻止人们点击该完全有效的选项。

那样,人们就不会为了获得投票而投票。

尽管如此,我们还是必须更改对徽章的要求-简单地增加数字(对于金和银,分别为500和2000)就足够了,或者要求是您必须具有> 50%的实际动作(编辑等)。

评论


+1是要求您必须具有> 50%的实际动作(编辑等)。不确定是否增加数字;没有什么能像稀缺性那样增加价值,所以这可能会使那些玩游戏的人更有可能通过评论冲刺。

– StuperUser
2012年10月17日15:25

同样,“使“不确定”按钮增加评论数”。没有什么能阻止玩家单击该按钮1000次并“赚”金。

– StuperUser
2012年10月17日15:26

@StuperUser-这就是为什么我建议需要实际操作的百分比。

–ChrisF♦
2012年10月17日15:35

哦,是的,我当然不好。

– StuperUser
2012年10月17日15:40

我说只是添加一个“看起来不错”按钮,并使它在功能上与“不确定”按钮相同。

–服务
2012年10月17日15:55

@Servy-短期内可能会起作用,但是当人们看到他们的评论数量没有增加时,他们会再次回到虚假的投票中。

–ChrisF♦
2012年10月17日15:56

@ChrisF是的。 15个字符。

–服务
2012年10月17日15:57

#6 楼

可以将评论设置为可标记,主持人可以暂时取消用户的评论功能。肯定不是很理想,但是它可以教育一些用户。

附录:我们稍后将看不到审阅者的实际操作(至少目前是这样),因此这可能行不通。请参阅↓评论。

评论


我想您可以标记帖子本身,并填写“其他”部分以指示评论有问题。

– S. Albano
2012年10月17日在0:37



不幸的是,这在最近我见过很多的“支持继续前进”的情况下不起作用(因为现在甚至垃圾邮件都被支持投票了),因为我们无法确定有人投票赞成一个帖子。这使得很难追溯在那种情况下谁进行了不良评价。

–布拉德·拉森(Brad Larson)
2012年10月17日15:44

我们是否可以查看是否进行了未经编辑的评论?那一定是投票。但是您是对的,我们不知道是否来自审稿人。

– fuxia
2012年10月17日15:52

@toscho评论者也有可能发表评论(可能是表明帖子出了什么问题的评论,这将是一个完全可以接受的评论),他们可能已经发布了评论(在您看到该评论时可能已删除帖子,因此您可以在评论中查找他们的名字),他们可能会标记该帖子(这对于很多非常糟糕的帖子来说是正确的选择)。他们本可以投票决定关闭问题,等等。作为非开发人员,编辑或评论实际上是您可以跟踪的唯一审查任务。

–服务
2012年10月17日在16:05

@toscho:我经常看到评论忽略了帖子中的重大问题(例如由于语法错误而使问题完全无法理解),而查看用户的其他“评论”则确认背后存在一个系统。然后,我实际上并不关心“审阅者”的工作-我想标记该评论。主持人不仅应该暂时删除评论功能(禁令到期后游戏将继续运行),用户还应该失去通过虚假评论获得的评论分数。

–弗拉基米尔·帕兰特
2012年10月17日19:33



#7 楼

我认为可以解决的问题的一个方面是“每小时评论”。

好的评论需要时间。对系统进行游戏的评论不会。

您对您花费时间和精力进行的评论被对某人的评论所削弱,该人可能是为游戏游戏而设计的,不愿意或无法放置所需的徽章时间或没有足够的能力来创建评论(尽管获得2k +代表)。

限制人们可以执行评论的速度不一定能确定评论的质量,但是防止玩家冲刺徽章而造成的损害,而不是为了社区的利益而进行适当的审查。

可以通过让用户知道他们只能执行5/10 /来解决此问题。每小时n条评论(可能按评论类型),并在达到该限制时通知他们,因为它们太快以至于无法产生积极影响。 br />基于下面的S.Albano的评论,当队列小于允许的比率时,我们可以使用动态比率来保护审阅任务,例如

q 4312078q

希望可以保护90%的审查任务。

评论


默默地撤销权利,已经以“ hellbanning”的名称进行了讨论,并被拒绝。

– Pops
2012年10月17日15:33



@PopularDemand谢谢。那是我以前搜索的博客文章。将删除该建议。

– StuperUser
2012年10月17日15:35



您要我删除我的评论吗?我只是在尝试添加补充信息,而没有批评,但是我发现您已经编辑过。

– Pops
2012年10月17日15:48

不,不要删除它;与地狱禁令的链接以及为什么它不被接受与这个答案以及整个讨论紧密相关。

– StuperUser
2012年10月17日在15:51

您可以建议对该问题进行编辑,但随后必须对其进行审查...;)

– StuperUser
2012年10月17日在15:51

起初这看起来不错,但是当队列大小接近零并且需要审阅的帖子数除以+1审阅者时,该想法就中断了。然后它们继续引起问题,而不会触发限制阈值。

– S. Albano
2012年10月18日,下午3:45

@ S.Albano非常好,在这种情况下,可能会根据剩余的数字动态降低费率,例如具有int ReviewsPerHour = Math.Min(10,(reviewsInThisQueue / 10)),它将保护90%的审阅任务。

– StuperUser
2012年10月18日在8:15

我只是建议将其作为另一种选择。

–ChrisF♦
2012年10月18日在8:40

我也同意这一点!但是,我认为单靠这是不够的。当它被其他人编辑或评论时,应与“锁定审阅”结合使用,因此在进行审阅时无法快速完成审阅。

– Boriana Ditcheva
2012年10月19日在18:36

#8 楼

我必须同意Nicol Bolas的回答,这里存在一个根本问题,即激励用户查看内容而不对评论进行任何监督。 (我稍后再讲。)

本·布罗卡(Ben Broka)也提出了一个非常有趣的评论


如果我们假装评论是个问题,那么评论弊大于利。


我认为这值得讨论。因此,我们假设(仅出于论证目的)大量用户正在审阅队列,在没有阅读的情况下进行评论,然后单击“我完成”。那么他们什么都不做又有什么不同呢?

好吧,只有两个变化发生了:在上面。如果这是一个很棒的帖子,那是正确的;如果是平庸的职位,那不成问题;如果这是一个糟糕的帖子,则说明它有一定的危害,但危害不大,因为每个帖子最多只能添加一票(来自审核队列)。增加一次投票在某种程度上不太可能将较差的答案推向更好的答案。有可能,是的,但目前我们很少有此类文章。因此,净效果:接近零。我认为肯定的结果将与否定的结果相当。
该项目已从审阅队列中删除。有能力执行更实质性的动作(例如标记,编辑,投票关闭,评论,拒绝投票等)的人不太可能看到它。这里的问题在于机会成本。差劲的评论阻止了人们采取更积极的行动,或者使那些想要进行适当评论的人更难找到有价值的内容。当然,只有在清空队列后才会发生这种情况。只要队列中有一些项目可供合法审阅者审阅,就不会浪费他们的时间。
评论者在不实际评论内容的同时获得评论的好评;该奖励可能采用徽章的形式,也可以是(每日或总计)排行榜上的位置。现在,这些奖励的价值有所减少,因为很多人都知道这种奖励通常是不应该得到的,但是显然奖励中有足够的“价值”供人们花时间伪造评论。

我也想要解决这样一个事实,即围绕建议的编辑的讨论已经被提出为相关的。建议的编辑与其他审阅队列之间存在一些关键区别。将某件物品排在队列中数年而不被查看只是意味着如果某件事情出了问题,某人可能无法修复它。那里没有具体的东西。另一方面,建议的编辑在排队时会引起问题。当编辑处于队列中时,这意味着该帖子不能被其他用户编辑(如果他们想进行更大量的编辑,或者修复该编辑遗漏的内容,或者仅在OP中添加更多信息) )。这也意味着(如果该编辑增加了价值)查看该帖子的每个人都不会看到正面的编辑。那是个问题。最后,为了防止该队列过长,它的大小受到限制。如果没有人在审查建议的修改,则将达到容量(旧系统经常会在每周的几天内达到容量,或者至少是接近容量)。当队列已满时,将无法进行建议的新编辑(可能是有价值的编辑)。由于所有这些原因,有一个合理的论据可以使迅速批准建议的编辑的价值比批准一些不良建议的编辑所花费的成本要高(理想情况下,我们希望获得快速且质量高的批准,但我们没有想到那一个呢)。

不过,首批/后期帖子有所不同,因为尽早审核内容的价值大大降低(大部分内容确实可以等待),但这并不能抵消与差评相关的费用。因此,在建议的编辑队列中添加更多激励措施(尽管我仍然认为可以进一步改善)是积极的,而在第一/最后一篇帖子中添加激励措施是有害的。我们应该怎么做?

只需要明确声明一下,我建议删除用于审核队列的金色和银色徽章。青铜徽章很适合将用户介绍给队列,并且设置得足够低,不会引起严重滥用。所有队列的排行榜(每日排行榜和总排行榜)也都应取消。有些用户会将目标列为目标,并使他们的评论质量下降,以便他们可以在那里获得/保持职位。删除这两个功能应该会带走最重要的诱因,使用户尝试获得评论点而无需考虑评论本身的质量。

评论


是。看来,赞成并继续前进的审阅者正在清空队列,因此,您的观点2-“只要队列中有项目……就不会浪费时间。”好吧,队列中没有项目。

– pjmorse
2012年10月11日,下午2:57

@pjmorse是的,但仅在最近几天被清空;在那之前这不是一个真正的问题。同样,如果团队添加新队列,或更改算法以允许新项目进入现有队列,则问题将暂时消失。

–服务
2012年10月11日下午13:54

很抱歉,我一直对此保持警惕,但由于某种原因,这让我很烦,我不能放弃它。我认为整个网站的问题是,只要队列很小,快速,低思想的(可能是低质量的)评论就比良好的评论具有竞争优势。在队列中肯定有可能简洁明了且撰写得当,并且值得进行二十秒钟的阅读和评论审核,因此快速审核并不是天生的糟糕。

– pjmorse
2012年10月11日14:18

另外,我只有代表才能访问几乎一直为空的队列:第一篇文章和最新答案。 :S

– pjmorse
2012年10月11日14:20

#9 楼

一个部分解决方案(嗯,不是“解决方案”,似乎太强了;也许是“医学”?)将是一旦有人开始编辑该帖子,就将其从队列中删除。这至少可以避免那些纯粹的挫败感,在那一刻,您最终完成了对英语语法犯下的暴行的某种感觉,却发现有人从您的脚下扯下了地毯,并获得了您的信任,而没有做太多的事情努力。 (如果放弃编辑,则帖子自然会回到队列中。)

另一部分可能是继续计算所有审阅类型的操作,即使它们在某人发布其他人已经审查过;即使它们来自队列以外的其他地方,也是如此。自然,徽章限制必须大大提高。另外,我认为投票不应该视为评论型操作:我将其限制为编辑,标记和评论。

评论


在其他情况下,建议在编辑时锁定帖子,例如防止他人在编辑时进行编辑。他们都有基本的问题。有人可以开始编辑,然后连续几个小时/几天关闭浏览器。它需要超时,但是有些人可以合理地花费10-20分钟来编辑大型文章,因此也不能短于时间范围。

–服务
2012年10月17日20:35

就其价值而言,一名开发人员发布了与上周类似的内容,得分达到39分,但在两天前没有给出任何理由将其删除。编辑:实际上,原因可能是我指的答案的前半部分谈到了将来时态中的第一个功能。

– Pops
2012年10月18日15:55



因此,我大多放弃了审查。

–nalply
2012年10月23日12:18

更确切地说:我放弃了通过编辑进行审阅。当我看到需要修改时,我只是跳过。

–nalply
2012年10月23日在12:42

@Servy:为引擎提供(例如如何)保存草稿功能,实现超时并不是一个挑战。

– Incnis Mrsi
2015年9月5日19:16

@IncnisMrsi具有草稿保存功能的事实与此根本不相关。正如我所说的,这是矛盾的,需要锁定时间足够长才能执行长时间的编辑,但又要足够短以免对其他人造成干扰或允许滥用,并且锁定时间之间没有真正的重叠时间二。

–服务
2015年9月8日13:15在

#10 楼

我开始认为,拥有徽章(尤其是金币)的东西可以很容易地玩起来,毕竟这不是一个好主意。游戏系统,并采取最少的努力来获得该徽章。但是,在这种情况下,系统的游戏太多了,任何需要同行共识的对策似乎注定要失败。所有游戏玩家都将做同一件事,并且由于他们都“同意”,因此不良评论现在看起来是合法的。

我打算建议完全移除黄金评论徽章。我很乐意放弃我的,如果这意味着我们很少有被徽章who子加盖橡皮戳的废话。 (短期内仍然会有一些游戏,但有一些告诉我,一旦人们获得银牌,它将逐渐消失。)铜牌可以留下,也许还有银牌,但是只要有金牌,人们将尽一切可能进行耕种。

#11 楼

如何对每种类型的评论队列进行“测试”?为了获得每个审阅队列的全部特权,您必须进行审查过程。这是可能的样子。


想要参加审阅队列的新用户将看到在审阅方面具有明确“正确”答案的帖子。用户必须正确查看这些“测试”评论中的100%,才能访问真实队列。对于每个队列,您都必须进行此检查。例如,当您向他们打开闸门时,请继续向他们显示“测试”评论。如果用户在任何阶段都得到足够的这些错误,请暂时撤消他们对特定队列的访问(或警告他们或其他东西)。或者,将它们降低到“级别”(见下文)。
当用户通过正确回答更多的测试评论来证明自己时,请减少他们必须获得正确答案的测试评论的数量。标记未正确审查事物的人。足够的标记可能会增加显示一个人的测试评论的数量(这可能是自动过程,或者可能需要主持人参与)。

您可以将过程划分为“各个级别”。显然,这些方法很灵活:


0级评论者:100%测试评论
1级评论者:30%测试评论和70%真实评论
2级评论者: 20%的测试评论和80%的真实评论
3级评论者:10%的测试评论和90%真实评论
4级的评论者:5%的测试评论和95%真实评论

>您可以在其个人资料上显示审阅者的“级别”,从而仍然使审阅过程游戏化,但使所述游戏化更加有用。您也不会告诉他们哪些评论是“测试评论”。这样一来,他们随时可能会失去其“ 4级审阅者”的身份并被撞倒。这将阻止人们做正确的事情,直到他们达到4级,然后又回到他们的徽章磨削方式。

其他说明:用户收到“测试”评论错误,让他们知道原因,并指出他们错过的帖子到底出了什么问题。这样,我们就可以在审查用户的同时对他们进行培训。
我知道我正在解决每个队列的一些问题,例如“如何确定规范的评论”。

评论


安德鲁,我认为可以将Late Answers队列用作测试工具。它似乎已经具有最重要的“成分”,例如检测可验证的滥用的项目以及针对那些(会)试图诱骗测试人员的保护措施,就像他们目前正在欺骗审查一样

– gna
2012年11月22日15:52



@gnat也许Late Answers队列中有很多不好的帖子。但是,没有什么事情可以告诉用户当他刚刚进行了不正确的评论时,为什么这是好消息还是坏消息。目前,有些用户的评论数量几乎与Upvote差不多,而DownVote则可能少于10。因此在我看来,他们什么都没有学,他们只是继续发送UpVote按钮。

–ForceMagic
2012年12月7日19:01

@ForceMagic我在考虑类似于当前用于检测和还原串行投票的脚本(通过无脑地投票到LA队列中错误的帖子的方式可以视为一种投票欺诈)。欺诈检测脚本不会立即发现欺诈,但是,它仍然可以很好地保持网站清洁,不是吗?

– gna
2012年12月8日在7:28



@gnat我实际上并不知道已经进行了一些更改以检测审阅中的不良行为,直到昨天我碰到了一个假审阅并实际上将其纠正为止。我很高兴看到,因为几个星期前,我在发布[this] [meta.stackexchange.com/questions/155299]之后不久就停止了评论,因为我被[this] [stackoverflow.com/users/1647597]之类的用户所烦恼。我通常不希望指出任何人,因为我们都可以学习并提高自己的水平,但是从我所看到的情况来看,这个人还没有学过IMO。

–ForceMagic
2012年12月8日在8:57



#12 楼

另一个选择可能是仅在积压情况下提供徽章奖励,从而不会奖励不良行为。评论队列达到某个阈值(例如500),触发将要计入徽章激励的评论。
用户界面中的某些指示器指示评论队列处于该模式。奖励,而显然没有与其他审稿人竞争降低评论质量。 >
此方案有几个好处:


它在需要时调用备份以进行检查。
减少了极高评价的审稿人践踏他人精心编辑的可能性。
由于代表,在两个阶段中都应选择更理想的编辑操作。并减少了紧迫感。
为用户提供的休息时间是唯一的收获,那就是改善网站以实现和平。

评论


那么在80到500之间会发生什么呢?

–RichardTheKiwi
2012年10月16日在9:08

@RichardTheKiwi我打算将其作为反馈回路,如对细胞以及各种其他复杂系统中代谢途径的调节所见。在达到上限阈值的过程中,队列将保持无激励状态,直到它超过上限阈值。在回退的过程中,评论将计入徽章,直到级别超过下限阈值为止。这应该导致队列计数在两个阈值之间振荡,但是在此问题似乎最严重的较低阈值上花费很少的时间。

– S. Albano
2012年10月16日15:24



正如我在回答中所描述的那样,除了建议的编辑批准外,其他队列不会造成积压很大的问题。保持积压比将所有标记为已审核而不实际对其进行审核的危害要小。如果我们只希望不喜欢看到这些队列的大数字,我们可以简单地使进入队列的条件更加严格(或更有效地对它们进行优先排序),以便最需要帮助的帖子获得最多关注(此操作已经完成)在一定程度上)。

–服务
2012年10月17日15:52



@Servy我认为新用户中的大量积压和迟到的回答队列对新用户不利。我们希望鼓励及时进行评论,以改善他们的问题和答案,并为他们提供建设性的反馈。良好的评价使SO变得更有用,更受欢迎且反应更快,有助于吸引新用户并教会他们如何成为社区的建设性成员。

– S. Albano
2012年10月17日在16:58



@ S.Albano是的,我同意在一个小时左右的时间内对新帖子进行适当的审核比一周后的审核更具价值。我还认为,对发布的帖子进行适当的审核比在不执行任何其他审核操作的情况下,对每个第一篇帖子都添加一个upvote更具价值。对新帖子进行评论以(礼貌地)指出他们所做的与SO准则不符的事情,编辑好的答案等可以提供很多价值。一票(无论是否有效)是非常少的反馈。

–服务
2012年10月17日在17:03

@Servy我同意upvote并不是特别有用,并且我的建议是在这样的假设下进行的:选择这些upvote审核是在较低的阈值下进行的,并尝试将花费的时间最小化,同时通过定期的燃耗阶段来鼓励吞吐量。您的建议完全避免了低阈值,前提是假定在刻录阶段,上投票的选择同样强大。知道与在低(0)阈值时的当前水平相比,在队列烧尽过程中普遍存在的惰性投票会很有趣。

– S. Albano
2012年10月17日17:42

#13 楼

如果审阅者在该主题中获得的标签数量最少,该评论者只能投票给答案如何?这样,所有不熟悉特定语言或主题的用户都可以筛查垃圾邮件,“不是答案/真实问题”以及其他明显不受欢迎的帖子,并且仍然能够留下有用的评论或修正残破/缺少的代码格式-但是如果他们还没有他们在某个主题上没有表现出至少的最低能力,因此他们没有赢得投票的信誉(他们仍然可以稍后再投票,但不会被视为评论)。

我个人知道主题与LAMP网络服务器有关,例如PHP,MySQL,JQuery,Apache等,但我不是Ruby或C ++的人,所以当我在自己的领域中看到问题时,如果它们是好的答案,我会对其进行投票,如果没有问题,则跳过它们特别。但是,当出现Ruby或C ++问题时,如果不明显的垃圾需要举报或发表评论,我通常会跳过,因为我觉得我没有关于我不了解的主题的业务支持帖子,因为我知道发布者不知道什么他们正在这样做,而他们的答案并不能解决问题。应该进行投票,因为它是一个很好的答案,而不是因为它不是垃圾邮件或明显的废话。

示例:我当前的标签>
至少设置25个帖子,我只能对标有
php或htaccess标签的帖子进行投票。 ,gd2,imagemagick,jpeg等。
我不能通过mysql或regex或其他
较低的标签来投票,直到我在这些标签中发布了一点并证明其他用户同意,我对这些主题有所了解。

盲目投票的示例可能解决:如何获取CheckBoxList选定的值,我似乎无法使用C#.NET / VisualWebPart

当我将其打开进行审查时,有2位用户赞成(并对其进行了另一次编辑),他们所有人都没有发现原来的问题与CheckBoxList值有关,并且应答者只是粘贴了一些随机的,完全无关的C#sql连接脚本。如果针对此问题的审阅投票特权仅限于C#人群,那么我希望他们能立即意识到代码无关,并像这样过滤掉废话。基于主题经验的投票可能会使将一些较晦涩的主题排除在审核队列之外变得更加困难。也许它只适用于具有较大用户群的更流行的主题,例如c#java php。也许只需要将其应用于答案,因为比起答案是否能解决操作问题,它更容易知道问题听起来是否合理。但这将有助于防止用户仅仅因为它不是明显的垃圾就可以进行投票,即使他们可能不知道答案的真实性如何,它也可以使他们赢得评论信誉!

评论


赞成一切的人所面临的问题是,如果您阻止他们进行反对,他们只会做最简单的其他事情来启用“我已完成”。也许他们会投票(特别是在那些不会花费选民代表的问题上)或进行不改变任何相关内容的编辑,添加实质上是垃圾邮件/噪音的评论等。这只会对认为他们是通过对他们一无所知的帖子进行投票来采取适当的行动(当然,仍然会有一些人)。

–服务
2012年12月7日在21:16



我也考虑过,但至少可以拒绝低代表用户的无用编辑,并标记噪音评论,这两者都可能撤消该评论功劳。而且您可以给予与否决相同的凭据限制...这是一个复杂的问题,即在不奖励无用评论的情况下仍会激励评论,而且我不确定是否有解决问题的灵丹妙药-摩尔至少遏制连环投票将有助于用户区分优质帖子和被橡皮图章标记为评论积分的帖子

– WebChemist
2012年12月7日在22:27

另一种想法是将评论者在每天最多20​​条评论的队列中限制为5票赞成/反对票(因此,明智地花费票数),但是就像您指出的那样,这只会导致更多无用的评论/编辑。

– WebChemist
2012年12月7日在22:38

用户至少需要2k rep才能审阅帖子,因此所有修改都不是建议的修改;他们都是真正的编辑,不能被拒绝。是的,可以还原它们并标记/删除评论,但要点是,最终结果是,审核队列将导致比解决的问题更多的问题,这将是与不正确的投票不同的问题。它并没有解决任何核心问题,只是试图对症状进行创可贴。

–服务
2012年12月7日在22:48

#14 楼

编辑#4:

好。此编辑确实确实使系统出现了一些错误。从系统中删除不良评论者是否有进展?感觉还没有。

请。开始从系统中删除不良审核者。如果可以像这样盲目地批准编辑,我会严重质疑我在整个评审过程中的参与。这必须停止。

编辑#3:我开始认真考虑整个审查队列。事实上,此编辑并未被所有参与的审阅者立即拒绝,表明决定接受修订的审阅者不在乎。从系统。我希望这种剔除的速度比现在快得多。很抱歉,我们现在的速度似乎并没有减少缺乏质量的评论。

编辑#2:编辑使我担心在这里失去沙拉。这不是拼写之类的东西,而是缺乏完整性。当我们希望同行评审或可编辑评论时,我们会得到什么?我们必须找到一种从整个审阅过程中获取质量的方法,而不仅仅是(通常是空的)审阅队列。

编辑: 。前几个没有解决格式化问题的关键缺点,只花时间进行简单的更改,而忽略了关键内容。从系统中删除不良编辑器的​​需求从未如此强大。


所以这是当前系统的强项。这是我最近的例子;在尝试此操作时,请尝试使其保持清洁/无污染。

因此,在处理问题/答案进行编辑时,我要做的主要事情是确定实际需要修改的数量。仅仅是代码格式化吗?是否出现一些语法问题?这个问题需要一点口水和打磨才能遇到更清洁的问题吗?这个过程意味着我进行的编辑较少,但是(我相信)质量更高。 。还有更多可以更改的内容吗?是否做了足够的工作来修改问题以使对下一个人有用?

让我停在这里。编辑系统有趣的Catch-22是其最终目标:修订版本必须足够实质,以便将来其他人阅读该问题。当前的审核队列显然无法使社区实现该目标,除非他们受到足够的纪律和耐心来仔细研究问题的每个细节并进行修改。是。


所以,我发布的示例-看一下修订版#3。该修订版没有增加任何实际价值-语法错误在很大程度上没有得到控制,并且代码格式化实际上已经恢复。这是一项较差的编辑,并且已被正确拒绝-除了社区加入并接受修订之外。这可能是由于其他人编辑了文件并声称编辑是“有用的”。
在一定程度上强制执行一份简短的清单,以确定应在帖子中固定的内容。这可以包括但不限于:


拼写检查器;捕获通常拼写错误并且在评论中遗漏的单词。如果用户在某个给定的阈值之后反复错过这些内容,则限制他们一段时间内参与评论的能力。
代码格式检查器;捕获可以解释为特定语言的代码块,并查看其格式。这可能很难实现,因为关于Java中花括号的位置有很多争论,而且Python示例中使用的空白类型也无法清楚传达。这可能会提示一些问题,例如“嘿-该帖子的末尾有签名,这将是一件事。”如果要检查的杂项种类繁多,可能会很难实施。


对没有充分评价负面声誉的问题/答案的用户进行惩罚。这可以适用于任何人,以鼓励没有建议的编辑限制的人员实际坐下来复习该问题。
回顾历史不佳的帐户不得加入该系统。我不能对此施加太大压力-我们能够阻止不良评论影响网站其余部分的唯一方法就是阻止不良评论者参与。

评论


关于您的最新更新:我错过了什么吗?修复拼写错误的标题有什么可怕的?

–Shog9
13年8月21日在7:07

@ Shog9:我想我指的是它的建议编辑部分;我可以忍受的拼写错误。

– Makoto
13年8月21日在15:14

@Makoto:请参阅:meta.stackexchange.com/questions/79342/…

–Shog9
13年8月21日在17:17



@ Shog9:很好,但他不仅碰了标题,还纠正了帖子中的其他内容。我认为,更正帖子中的任何内容都应计入“太次要”的修改,否则我们将有很多用户在对系统进行标题或一两个更改的情况下进行游戏。

– Makoto
13年8月22日在5:55

#15 楼

仅对工作给予奖励。回答问题需要时间和精力。单击“投票”按钮不足以赢得奖励。当然,一切都需要进行审查。但是只有在有人花时间进行编辑和改进时才给予奖励。已通过。

仍然有进行审核的动机。您将跳过过去不需要帮助的项目,直到找到需要帮助的项目。您对其进行改进,将会得到回报。

#16 楼

很少有解决方案(混合和匹配),可分为三个步骤:
过滤掉不良评论者
粘性问题
每当用户在队列中对同一问题投了相反的票时,请对问题进行一点处理队列中有粘性(不会立即消失)。如果您有足够多的有争议的票,则正在投票的人可能是逐行审阅人。 。
请记住,花费很少时间处理的帖子很多时候都是可投票的。如果用户只是在队列中滑动,那是不对的...
确认
我背上的猴子
如果用户很少在评论队列中投票,并且也通过发布方式很快,在他们的背上贴上“猴子”。这会更频繁地触发蜜罐帖子(或其他任何陷阱)。如果他们正确回答了蜜罐,那猴子就会走开。 br />已实施
对其处以刑罚
对前几项违法行为向他们显示警告,而没有处罚。如果继续下去,请逐渐加大处罚的力度。各种(混合搭配)处罚方式:

代表处罚
禁止在X个小时内进行评论
撤消用户在最近X个小时内的所有评论(包括重置其评论评论统计信息)
由用户撤消最近的X条评论

尽管最简单的一条评论(且最不令人讨厌)是:对于每条不良评论,用户的评论进度都会下降2。如果评论太多,可能还会更多)

评论


“如果用户在很短的时间内进行过多次连续投票,那么很有可能他是不好的审阅者。”可能,但是只要记住关键字“可能”即可。将此类用户标记为mod注意力会很好,但是有合理的情况。这是关于这个问题的一些讨论。 (它是在建议的编辑中,而您指的是其他队列,因此在这里不太适用,但仍然很相关。)

–服务
2012年12月4日在21:08



@Servy:这就是为什么这只是一个“过滤器”。您还有更多检查可以检查此人是否真的是不良评论者

– Manishearth
2012年12月5日,0:36

我喜欢“背上的猴子”的建议。

–美国卢克
13年5月21日在21:30

#17 楼

看来,这两个问题可能有简单的解决方案:

问题1:Flyby审稿人

我认为问题的最大一部分是,如果人们通过了,就会受到惩罚。他们无偿地浪费时间投资。通过按钮的奖励积分,并将徽章的标准更改为不超过50%通过的评论的两倍。当您实际上不知道时,这至少将培训通过考试的人是一个很好而有效的选择。将pass设置为默认操作要比批准更好,并且我敢肯定,为通过使用pass按钮设计的蜜罐要比通过approve按钮设计的蜜罐难得多。

我确实认为失败的蜜罐应该说明问题所在。

问题2:正在进行的评论失窃


保留评论。一个人不需要锁就可以做到这一点。仅使用时间戳更新记录,并且不要在5分钟内将评论提供给其他用户。无需返回并进行更新,并且如果审核花费了超过5分钟的时间,那么您可能还是会在其中途煮咖啡。或

允许对相同内容进行多次评论。 of问题消失了:)。可能会增加徽章数量以进行补偿。


#18 楼

这种遵循Mac的建议的方式,但是我经常想知道审阅系统上是否存在筛选器,用于检查某人的评论是否与其他用户的所作所为大致一致。显然,不同的审阅者之间会有所不同,但是我看到了实现一些自动标记的机会(至少可以使mod警惕该行为)。 )上的特定帖子与该评论的其他评论者一致。如果评论者与社区的互动超过x%的时间(并且该类别中的评论总数超过y),则会触发标记。
如果用户可靠地使用相同的机制以统计上具有暗示性的方式处理评论(即几乎总是投票,几乎总是投票关闭等),则会触发一个警告。标志。

可以为主持人指出带有评论标志的用户,和/或

可以创建评论评论类别的评论,将可疑评论放入一个评论,具有与其他评论池当前相同的激励/徽章(没错,我在一个句子中只使用了6次“评论”。

评论


...以及评论的评论!

– pjmorse
2012年10月12日,0:41

问题在于,我看到的评审员比质量评审员还要多。系统可能会认为我是败类,因为我实际上阅读了该问题,对其进行了否决,并投票决定,当75%的其他评论家只是对它进行了表决而没有阅读并继续前进时,投票决定将其关闭。

–服务
2012年10月12日17:05

@Servy-我们真的认为75%的评论者是坏演员吗?也许更科学地看待问题的严重程度。无论如何,这实际上仅适用于我的三个标记标准中的第一个……如果人们审阅速度太快或得出相同结论的频率过高,则会触发标记。

– Ben D
2012-10-12 17:18



这与有人监视拒绝好的编辑或批准不好的编辑吗? @pjmorse,请参阅我对这个问题的回答。

– Pops
2012年10月12日17:20



@BenD我要求在几周前进行更科学的外观,以取得合理的结果。

– Pops
2012年10月12日17:21



@PopularDemand-是的! meta.stackexchange.com/questions/140017/…的反应很好。我会对其他各种查询感兴趣,但这正是我所追求的。在这个特定情况下,这两个查询对于Book Of Zeus似乎都是很可恶的,因为他确实设法通过评论使管家的徽章燃烧了(一天1.8秒钟就批准40条评论?

– Ben D
2012-10-12 17:33



请注意,前32名名单中有一些人是已知的好用户(例如Cody Gray和Bill the Lizard)。

– Pops
2012年10月12日17:35

@PopularDemand-我注意到了这一点,但是由于这个原因,我没有发现第一个图表像第二个图表一样有趣-查询无法控制整体参与...有时您只需要5秒,大量用户他们将有很多。它需要的是另一列总评论数(或总评论数的百分比,以<5秒为间隔)。第二张图表很明显表明Book of Zeus只是在滥用系统。

– Ben D
2012-10-12 17:55

您可以将查询限制为已经拥有Steward徽章的用户。

– pjmorse
2012-10-12 18:40

@pjmorse-我认为到那时为止,大多数损害已经造成了……(每个类别只能获得一个管家徽章,因此,为该徽章做徽章的人到那时将对损害进行1000次评论) 。

– Ben D
2012年10月12日19:20

@BenD如果您想停止破坏,是的,您是对的。我的建议是更多地关注损害是已经发生还是正在发生的问题。如果我们想通过短时间内发表大量文章来查看人们是否正在进行评论,那么首先查看进行过很多评论的人似乎很有意义。这就是数据所在的位置。

– pjmorse
2012年10月12日20:40

审查评论是一个好主意,但根本不提供任何徽章是一个坏计划。评论的审查将由只想改善网站的人员完成。您可以编写一些启发式程序,根据历史记录对哪些评论的质量可能很差,是否有完全相反的评论,加载和评论之间的间隔时间或后续评论之间的间隔时间进行编程。

– AndrewC
2012年11月27日上午11:07

#19 楼

审核分配

SE系统上具有先例的另一个选项是拥有与标记系统类似的系统,在该系统中,用户仅可以使用有限数量的“审核”,但可以委托更多有关适当的评论。


每次用户完成由社区成员批准的审阅任务(例如,有用的编辑或标记,或后来被评论的评论)时,他们都会被委托一些评论。 (胡萝卜)
如果社区拒绝了某项行动,则他们的评论分配会因多次评论而减少。 (stick)
未批准的审阅任务只是将用户可用的审阅分配递减一个。 (stick-lite)
分配的评论可能会缓慢恢复到最低限度,从而为用户提供第二次机会。 。它为工作提供了激励,对不良工作给予了惩罚,认识到在某些情况下可以进行向上或向下投票,并确定投票不是用户唯一要做的事情。

评论


这是在其他地方几次提出的“评论复习”想法的有趣变化,但最终由于相同的原因而失败。看到这个评论线程。

– Pops
2012年10月18日15:50



#20 楼

当队列较小时,您可以简单地增加评论所需的代表。

评论


不,这并不是真正的解决方案,因为我不止一次地尝试改善不良帖子,却发现它已经被一万名用户错误地检查过...

–阿迪尼亚
2012年10月15日14:08

这将有助于减轻问题,而无需实际解决。如果审稿人较少,则不会尽快处理项目;如果不尽快处理它们,队列将更长。队列越长,同一人同时审核的帖子就越少。

–服务
2012年10月17日15:54

#21 楼

这里有很多好的解决方案。似乎这可能是一个复杂的问题,需要多个解决方案-有时会发生。因此,我在“锅”中有两个想法(彼此相关)供考虑:显然,高质量的编辑每个Y帖子平均需要X分钟;我确信管理员和超级用户可以在那里填写最好的数字。因此(例如)当某人在一小时内进行50次编辑时,您知道这些编辑不可能很好-不管编辑器有多快或多聪明。应当如此之快,如此之快地避免这样做,受到审查和/或标记为质量低劣-如果超级用户投票赞成这样做,则可以撤销获得的徽章。 PS-不要在数字/小时上引用我的信息-超级用户和管理员知道数学并具有出色的公式:)
用户可以获取的“评论”型徽章/期限的油门数量。在审阅时锁定“问题或答案”-问题/答案的所有其他部分均为“打开”状态。这样可以防止对正在审查的零件同时进行和重叠进行审阅,编辑和投票。由于每个问题,答案,评论和投票都是作为服务器上的单独对象处理的,因此锁定当前正在审阅的每个部分都不应该费力。这种“锁定”还有助于通过浏览内容来扼制那些因系统不公而“匆忙”的用户。这只是解决方案的一部分,但对系统的整体运行状况至关重要。

如果人们要进行质量审查,则永远不会受到这些限制的影响。飞过的人只是简单地为徽章投票,正在减少所有人的体验,因此需要减少他们的动力和动机。这3种方法以及与此问题相关的其他方法,应有助于恢复这些徽章的价值,并剥夺那些希望以牺牲质量为代价来积累积分的人的权利。

评论


我认为我们实际上存在的一个问题是多个人可以访问评论。因此,多个编辑同时发生。当我发表评论时,它总是让我感到烦恼,并且我看到2-3个人赞成该帖子,尤其是当它不是一个好帖子时。在我看来,人们感到“着急”,因为他们知道其他人可以在他们之前对其进行审查,这并不鼓励您花一些时间在IMO上。另外,我认为一小时内审核50次编辑可能很好,这取决于帖子的深度。但是,在3分钟内进行20次编辑肯定是不够的。

–ForceMagic
2012年11月15日18:52



@ForceMagic-良好的反馈,听起来不错。如果可以的话,我将编辑我的帖子以包括那些参数。有些问题比其他问题困难,需要工程设计。在我的书中,这绝对是合格的。

– Lizz
2012年11月15日19:28

@ForceMagic纠正此问题的一种可能方法是引入“独占审查期”

– gna
2012年11月16日11:24



@gnat的确,我在那篇文章上同意你的看法,我已经在不久前赞成你:)

–ForceMagic
2012年11月21日在20:12

#22 楼

一种解决方案可能是仅在某人的评论与其他评论一致或用户的评论通常一致时才授予评论。例如,如果我评论了建议的编辑,也许是评论仅当我选择“批准”且审核过程的最终结果为“批准”(在所有投票都投下后)时才被授予,反之亦然(我选择拒绝,最终被拒绝)。如果我做出错误的选择(没有得到审查),我将受到惩罚,但这将鼓励人们做出有计划的,明智的选择,而不是盲目选择一个选项。最终,这只能通过确保仅在审阅者促成共识时才激励审阅来改进系统。

也可以用来了解我的审阅准确性:如果我始终选择批准/拒绝最终批准/拒绝的建议编辑,那么我可以很好地判断什么是好编辑,哪些不是好编辑。如果正确判断的评论与不正确的评论的比率很高,那么也许只有这样才能授予评论。确定可以做到。

评论


问题在于,我看到的评审员比质量评审员还要多。系统可能会认为我是败类,因为我实际上阅读了该问题,对其进行了否决,并投票决定,当75%的其他评论家只是对它进行了表决而没有阅读并继续前进时,投票决定将其关闭。在建议的编辑中,我经常是唯一的拒绝表决(因为这是一个糟糕的建议),当有两个赞成表决时(因为有很多人都赞成)。

–服务
2012年10月12日17:08

@Servy:公平地说,我不能不同意许多评论者对他们的评论没有任何想法。我的观点是,如果审稿人不太可能因做出随机决定而获得审稿,那么他们将不太愿意这样做。最后,对于试图做正确的事情的人来说,失去一两个评论并不是什么大问题,但是对于一个没有思考,只是想获得尽可能多评论的人来说,这可能就足够了让他们放慢脚步并考虑一下。

– Mac
2012年10月15日在22:13

问题是“差劲”的审稿人不会随机打电话。他们只是批准所有事情,并且他们都这样做,所以他们彼此同意。我几乎从未见过有人拒绝,我不会拒绝。我经常看到不该批准的事情。这意味着任何拒绝任何内容的人都需要担心被系统阻止以进行“异常审查”,并且实际上鼓励他们批准所有内容以避免被阻止。这是净有害影响。

–服务
2012-10-16 13:47

@Servy:是的,是的。点承认。

– Mac
2012年10月16日在22:10

@Servy我想知道如果不接受也需要两次单击(例如拒绝),“不看即单击”审阅者是否会开始以更加随机的方式做出决定。

–丹尼尔·菲舍尔(Daniel Fischer)
2012年10月17日14:08

@DanielFischer我对此表示怀疑。点击次数不是很多,而是他们不想思考的(因为这会花费时间,这意味着每秒的评论减少)。您应该证明拒绝答案是合理的,但不能批准答案。

–服务
2012年10月17日14:12

@Servy这就是我的意思。如果他们也必须给出接受的理由,那将使那里的竞争环境趋于公平。因此,它们不会被“强迫”接受,因为这是一种更快,更简单的方法。

–丹尼尔·菲舍尔(Daniel Fischer)
2012年10月17日14:16

@DanielFischer我担心的是,人们只会选择一种接受的理由。可能是最模糊或适用范围最广的,每次都使用。这可能会有所帮助,并且对于那些诚实地不知道某些职位应该被拒绝而不是被批准的人可能会有所作为,但是对于那些不在乎应该接受什么的人来说,您只会放慢它们,而不会阻止他们。

–服务
2012年10月17日14:17

@Servy是的,这绝不是解决方案,我只是想知道是否公平竞争环境是否会减少偏差。当然,不好的评论者只会选择一个通用的理由,无论他们赞成还是拒绝。恐怕(真的吗?)解决方案是将血腥的徽章报废,因此只有实际进行审核的人员才能进行审核。当然,这意味着队列将再次充满,但是...由于在我读完第二句话之前,有如此多的废话得到了批准/支持,我减少了很多审查活动。

–丹尼尔·菲舍尔(Daniel Fischer)
2012年10月17日14:25

@DanielFischer是的,我过去经常花很多时间进行审查,但是我几乎停下来了,因为我的行为不断地被那些不愿尝试审查的人所取代。

–服务
2012年10月17日14:37

#23 楼

我们有两个问题:


人们因其闪亮的徽章“ chievos”而获得免费评论“要点”。

所以我会提出一部分审查选项(赞成,“不确定”,“看起来不错”),等等,将警棍传递其他人,它会一直待在队列中,直到有数条评论等为止。

所以这是我的查看方式。由系统审核。第二个人进入并对其进行投票,然后必须按下“看起来不错”或“不确定”按钮以注册其动作,该动作已添加到“决策队列”中。在整个过程中,您会得到一个AJAX更新,上面写着“ <insert UserName here>已投票并说“看起来好/不确定””,这与您收到新答案或对帖子进行新编辑时的更新方式相同。完成修改后,可以单击“不确定”(也许您怀疑您的编辑是否足够)或“看起来不错”。也许甚至是一个“原因”字段,上面写着“上次审核未能解决问题”,从而扩展了必要的审核数量?实例:Upvote-LG,Edit-LG,No Action- NS,Upvote-LG,Upvote-LG。 LG =看起来不错,而NS =不确定。

然后系统查看谁说了什么。我不知道如何最好地做到这一点,但我认为第一位推荐人应该没有任何要点,因为需要进行编辑。编辑者应获得与其他三位审阅者的“观点”相关的观点。也就是说,“看起来不错”的票数比“不确定”票多(在我们的决策队列中),因此编辑者可以获得积分。投票给NS和LG的人也一样,因为他们对NS和LG进行了审查,以便将其传递给下一个。无动作-NS。

第一个支持者仍然一无所获,编辑者没有获得任何分数(因为其他评论者现在已将其作为LG / NS评论的一部分,也就是说,大多数情况下他们认为该编辑没有改善帖子),而其他三个得到一些分数,决策队列将被清除,然后将其备份以供审核。

在该系统中,每次审核都不会获得分数,但是您可能会获得0到3分,具体取决于获得的评价您的评论是。

或者我们拥有:
Upvote-LG,Edit-LG,Edit-LG,No Action-NS,Upvote-LG。

这里系统需要做出决定性的“投票”(两个编辑是否正确?),并且由于这可能会刺激速度检查,因此我们隐藏了非编辑操作的数量。然后,NS / LG提交审阅,或者将其推回到审阅的主列表中。然后,我们可以给第一位编辑较少的分数,并依靠后三个动作向我们展示第二次投票是否通过。如果需要编辑或多数人在发表评论后大多数人声称“不确定”,则快速评论的人将不再获得分数
同行编辑对评论进行编辑,然后根据努力将分数分配给评论贡献者(给编辑者2分,到最后三位审稿人中的每一个?)徽章目标获得X分,而不是审查Y条,并以某种明智的方式使X> Y。将每条评论进行5条评论,并且仅在达成共识时提交。根据对达成共识的贡献指出。

评论


之前已经在类似的情况下提出了这种“审阅审阅者”系统,但是问题是,二级审阅者和第一级审阅者一样容易坏。当不良评论者的总数很少时,这很好,但是在我们目前的情况下,我不相信这会有所改善。

– Pops
2012年10月17日下午16:31

@PopularDemand,但这意味着我们不信任任何人进行适当的审查,不是吗?

–Pureferret
2012年10月17日17:32

这意味着我们不信任足够的人进行适当的审查。如果审阅者的质量恒定,则添加更多审阅级别将无济于事。您只是将问题从不良审核者出现在第一级的概率转移到了多个不良审核者出现在第二级的概率。现在,如果您可以更改第二级评论的质量,那么我们可以开展业务,但是为什么不仅仅更改第一级评论的质量呢?

– Pops
2012年10月17日17:42



我明白你的意思了。但是我们需要以某种方式检查该第一次审阅...。如何做而无需进一步审阅?

–Pureferret
2012年10月17日22:00

这听起来有点愚蠢,但是如果一开始它们还不错,我们就不必检查它们。那样的话,我的意思是我们需要教会人们如何正确地进行审查和/或从知道如何进行审查并且无论如何都做错了的人中除去审查能力。

– Pops
2012年10月17日在22:18

#24 楼

顺便说一句,在我看来,“串行闪电审阅者”是问题审阅者。他们经过队列,对每个帖子都投票,然后点烟。连续审阅者至少可以将不良帖子评为不良,而不受惩罚。
更新2:否决评论的答案是有惩罚的!查看第一个答案时应该没有任何内容!多数第一答案并不好。我只是失去了2分;)

更新3:这是真棒:C#测试,如果用户有写访问文件夹中的迟到的回答方式复制发表一些意见的解决方案。毫无意义,但审阅者当然对此+1,因为他只检查问题和较晚的答案,而不是现有的答案。

评论


即使他们也愿意拒绝坏帖子,我们也需要他们投票关闭,标记坏帖子,发表评论以指出有问题或理想的行为,甚至编辑具有可修复问题的帖子。尽管这可能不会使事情变得更糟(直到我们开始看到人们什么都做,除了不读书就继续投票,然后继续前进),但这也没有太大帮助。

–服务
2012年10月17日20:37

稍等,我发现有明显不好的帖子(错误的网站)已被提高投票(!),将此与降低职位的投票率进行比较。这不是主要的改进吗? (我们可以认为,如果您发表评论,您只能在不受惩罚的情况下投票)。除此之外,请不要强制执行编辑,某些问题很好,我觉得对忙碌的编辑的奖励已经太多了。

–tomdemuyt
2012年10月17日在22:15

对问题的否决票已经是“免费的”,因此我认为,如果可行,这将是显而易见的。这些人希望尽可能少地付出努力,在投票与否决之间做出决定是非零的努力。

– Pops
2012年10月18日15:52

看来人们正在做“最便宜的事情”,以使答案从他们的评论队列中摆脱出来。目前,这是赞成票。投票者无需付出任何代价,他们不必花费超过单击向上箭头所花费的时间。任何其他操作都需要更多时间。他们不会拒绝投票,因为这会使他们损失1个声誉点。如果免费投票是免费的,那么可以选择“最便宜”的行动。有些人会投票,另一些人会投票。平均而言,答案的分数将保持为零。

–ChrisF♦
2012年10月18日15:57

“显然,对经审核的问题进行否决不会受到任何惩罚,这在UI中应该更加明显。”无论您是否在审核队列中,任何人都可以在任何地方对任何问题进行投票,对于投票人来说没有任何惩罚。仅对受罚的答案投反对票。

–服务
2012年10月19日18:00

#25 楼

我会以差评的惩罚来解决问题。在以下任何一种情况下,审核都认为是不好的:


upvote审核:该问题已关闭
upvote审核:一个星期后,该问题获得否定的总票数[1]
downvote评论:该问题在一周后获得了正面的投票[1]
评论评论:该评论被标记并删除了>编辑:[1]与审阅者一致的票可以总数加倍,以解决有争议的双向投票问题以及应始终应用还是仅在频繁的审阅错误上应用它。我想这也会提高我认为很差的问题的质量。

评论


-1,仅是因为赞成票总数并不意味着一个问题或答案是好的……只是受欢迎。 SO的前50个问题主要是垃圾。

–user7116
2012年10月15日17:18



因此,您可能从顶部向我展示了一个问题,您将在审核期间投票否决。而且您所写的内容(正面投票意味着人气,而不是质量)违反了堆栈溢出的基本规则,投票规则。

– jarekczek
2012年10月16日9:21



如果您认为遵循一致的投票规则,将会感到非常失望。至于顶部的垃圾,我去年进行了调查。我否决了很多赞成票总数的问题(以及很多反对票总数的问题),这与其他人所做的事情完全一样。

–user7116
2012年10月16日13:22



@sixlettervariables:如果我们假设投票总数不能反映问答质量,那么整个声誉概念就是一个垃圾。因此,我们不能做出这样的假设。就像失去生活感。但我们在这里可能有所不同。无论如何,请看我的编辑,它解决了imo的实际问题。

– jarekczek
2012-10-16 13:46

#26 楼

如果您允许一个问题进行多个“临时”评论,然后提问者在提出问题后的某个时间范围内选择获胜评论该怎么办?时间窗口应该很短-一个小时可能就足够了。如果发问者没有在给定的时间范围内采取行动,请退回至第一审胜制。由于没有提问者选择获胜的评论作为获胜者,因此只有在大多数评论为获胜者时才允许他们选择获胜者-否则,当评论窗口到期时,第一位获胜者将赢得信用。 br />如果情况是这样,我仍在努力弄清楚激励措施将指向何处。一些想法(并非全部都在积极方面)...


每个评论对于评论者的声誉而言价值都较小,因为很有可能不会被选为评论者。优胜者。这可能会阻碍系统的游戏。
由于发问者对提出质量问题感兴趣,因此相比于简单的“投票并运行”评论,可能会大大改善问题的评论。可能会阻止提问者选择改变问题表达方式的高质量评论,而宁愿选择另一个回答者的肯定,后者只是说“是的,看起来不错”。新手提问者可能是一个重大挑战。

评论


大多数评论的全部要点是用户是新用户,因此对网站的工作方式没有深刻的了解。不知道确切地使用了upvotes / downvotes,不知道应该关闭或不应该关闭什么,不知道在问题中应该/不应该发布什么,等等。OP对知道评论是好是坏。

–服务
2012-10-18 15:58

+1。尽管我同意Servy的观点,这并不能解决当前的问题(尤其是如果“审阅”中包含与编辑同时进行的投票),但我认为OP会自然而然地关心他们的职位,并且通常会从假装告诉诚实的编辑。因此,我希望看到一个可以同时包含OP对编辑质量的反馈的系统;即使OP否则不具备提供任何特权所需的特权级别。

–Jirka Hanika
2012年10月19日14:33



#27 楼

我对此的看法是,某人连续获得的投票应获得较少的奖金,并且有时还会出现弹出窗口,例如“嘿,您在此帖子中已投票43次,您可能会考虑选择好的答案”。

这是一个复杂的问题,应该从系统的角度进行分析。