Meta(Facebook)是怎么检测违规内容并采取措施的

Meta(Facebook)是怎么检测违规内容并采取措施的

Meta 利用技术来执行 Facebook 社群守则和 Instagram 社群守则。这些技术由他们的团队共同构建和训练。运作方式如下:

构建模型并做出预测

这个流程由Meta的人工智能团队着手,他们负责构建可以执行任务的机器学习模型,例如识别照片中的内容或理解文本。然后,Meta会在这些模型的基础上,构建更具体的模型来对用户和内容做出预测,这些预测有助于Meta执行政策。

例如,人工智能模型可以预测这条内容是含仇恨言论还是暴力和血腥内容。Meta的政策执行技术是一个单独的系统,负责决定是否应采取措施(例如删除内容、对内容降级或将内容发送给人工审核团队以供进一步审核。)

 

反复学习,人工验证

在构建新技术时,Meta会训练它寻找某些信号。例如,他们会训练一种技术在照片中检测裸露内容,并训练另一种技术学习理解文本。对于新技术,在刚开始判断某条内容是否违反Meta的政策时,置信度可能较低。

在这种情况下,审核团队可以做出最终决定,而Meta的技术则可以从每次人工决定中学习。一段时间后,通过从大量的人工决定中学习,这种技术就能做出更准确的判断。

Meta的政策也会随着他们的产品、社会规范和语言变化而不断演变。因此,训练他们的技术和培训审核团队都是一个循序渐进的迭代过程。

检测屡次违规的内容

技术的优势在于可以反复检出相同的内容,必要时,甚至可以达到数百万次。如果新内容与另一条违规内容吻合或非常相似,Meta的技术将对其采取措施。这对于传递错误信息、表情包和其他可以极快传播的内容特别有用。

区分细微差别

技术可以一遍又一遍地检出并移除相同内容。但在内容上的细微差别或较小差异方面,机器面临着巨大的挑战。比如有两张图看起来极其相似,但其中更改了两个词,使标题变得准确且不再包含虚假信息。

这对人来说很容易理解,但对技术而言却难以分辨。无论偏向哪一边都可能存在风险。如果技术过于激进,便会移除数百万篇未违规的帖子。如果技术不够激进,就无法分辨两张极其相似的图内容,从而不会对该内容采取措施。

对此,Meta也投入了大量的时间进行研究。在过去几年中,他们进行了多项投资,以帮助他们的技术更有效地检出内容中的细微差别。经过不断学习,他们技术的检测结果正变得日益精确。

 

Meta如何利用技术检测违规内容

Facebook 和 Instagram 上的用户每天发布的内容多达数十亿条。即使全世界有成千上万的审核员,他们也无法亲力亲为地审核所有内容。这就是 Meta 引入人工智能技术的原因。

Meta的技术可以在用户举报前就主动检测到绝大部分违规内容并将其移除。他们每天都会在 Facebook 和 Instagram 上移除数以百万计的违规帖子和帐户。其中大部分内容都是自动检出并移除的,因为他们的后台技术可以在内容被别人看见之前移除违规内容。在其他时候,他们的技术检测到潜在违规内容后,会将它们发送给审核团队进行审核并采取适当措施。

这项工作永无止境,因为很多人会不断使出新招来试图规避他们的技术,因此Meta的技术也会不断完善。

Back to blog

Leave a comment