雅虎的滥用检测算法在 90% 的时间内有效,这是该领域向前迈出的重要一步

计算机算法帮助

雅虎的新闻文章有很多令人讨厌的评论,就像互联网上的其他文章一样,因此雅虎团队决定使用他们的评论部分来开发一种算法,可以成功识别最严重的违规者。他们的 新的滥用检测算法 90% 的时间都在工作,他们说这使得它比其他组织尝试采取类似的壮举更有效,并被描述为该领域向前迈出的重要一步。 90% 听起来不错,我承认。

有线 据报道,雅虎还发布了第一个公开可用的在线仇恨言论策划数据库,作为其打击滥用项目的一部分。这意味着其他网站将能够使用雅虎的评论数据库来设计自己的算法。雅虎的算法是基于机器学习以及用户报告的评论部分数据开发的。

任何评论审核算法中最棘手的部分是处理误报。许多滥用检测算法会寻找特定的词或短语,如诽谤或常见的侮辱,并自动标记评论以进行审核。然而,这会导致评论被标记,即使他们在说它不合适的上下文中提到了诽谤,或者如果评论是对巨魔的讽刺模仿。雅虎的算法显然可以检测到某些语音模式,它的设计目的是能够区分开玩笑的讽刺和实际的辱骂。 (当然,如果你的搞笑评论与实际滥用无法区分,那么我很确定算法仍然会标记它,但我不能确定人工智能的那部分是如何工作的。)

雅虎招募了训练有素的评论版主来帮助完善算法,他们还聘请了一些未经训练的版主,他们发现训练有素的版主在确定哪些评论是合适的方面要好得多(有点不费脑子,但是嘿)。在创建人工智能的过程中,雅虎发现这些训练有素的人类主持人的工作对于保持算法的有效性和完善其检测技术至关重要。

当然, 算法仍然有偏见 ,这将需要一个(希望是多样化的)人类版主团队继续迭代用于对评论进行分类的方法。听起来是一项艰巨的工作,但至少雅虎现在明白了培训和重视他们训练有素的人类主持人和他们的新 AI 同事的角色的重要性。

(通过 下一个网络 , 图像通过 迈克尔科尔德达/ Flickr )