Meta如何利用技术检测违规内容

Meta的技术可以在用户举报前就主动检测到绝大部分违规内容并将其移除。
Meta每天都会在 Facebook 和 Instagram 上移除数以百万计的违规帖子和帐户。其中大部分内容都是自动检出并移除的，因为他们的后台技术可以移除违规内容，而且通常在内容被任何人看见之前。在其它时候，Meta的技术检测到潜在违规内容后，会将它们发送给审核团队进行审核并采取适当措施。

Meta 如何确定内容审核的优先顺序?

Meta 的技术可以在用户举报前就检测到大部分违规内容并将其删除。当某用户在 Facebook 或 Instagram 上发帖时，他们的技术会检测该内容是否违反了 Facebook 社群守则和 Instagram 社群守则。在大多数情况下，检测出违规内容很简单。某条帖子要么明显违反了他们的政策，要么没有。

而在有些时候，检测就比较困难了。比如该条帖子的情绪不明，语言表达特别复杂，或者要解读其中使用的图像，需要深度分析其背景信息。在这些情况下，Meta会采用人工审核来深入分析。

决定人工审核优先顺序的因素：

在决定人工审核团队应优先审核的内容时，Meta主要考虑 3 个因素：

1. 严重程度
这些内容在线上和线下造成伤害的可能性有多大？
2. 传播力
这些内容被分享的速度有多快？
3.违规概率
这些内容实际上违反Meta政策的概率有多高？

Meta希望尽可能防止伤害事件的发生，因此，他们的审核系统会利用技术来优先审核有可能造成现实伤害的高危内容和正在迅速蔓延的热传内容。

关于内容审核优先顺序的常见问题：

1.内容审核优先顺序发生了哪些变化？

以往，人工审核团队的绝大部分时间都在审核用户举报的内容。这意味着他们往往在严重程度较低或明显不违规的内容上花费太多时间，而在具有最大潜在危害的高危内容上投入的时间不足。同时，这也意味着许多人工决定对改进Meta的政策执行技术作用并不大。

Meta目前的排序方法解决了这些问题，使他们能够优先审核潜在危害程度最高的内容，从而更快地提升技术。

2. 人工审核团队是否会审核每条用户举报？

答案是不一定。人工审核团队和技术在审核用户举报方面都发挥了作用。在Meta的技术能够分析某条特定内容的情况下，系统将自动决定是否对涉事内容采取措施。

3. 如何确保人工决定不会为技术引入偏见？

为解决在 Meta 技术产品中采用人工智能技术所涉及的公平和包容问题，他们专门组建了负责任人工智能 (Responsible AI) 团队，这是一个由伦理学家、社会和政治科学家、政策专家、人工智能研究员和工程师组成的跨学科团队。该团队的总体目标是制定指导方针、工具和流程，解决人工智能的责任问题，并确保这些系统性资源在整个 Meta 得到广泛应用。