在过去的 10 年里，大型科技公司在许多技术上变得非常擅长：语言、预测、个性化、存档、文本解析和数据处理。但它们在捕捉、标记和删除有害内容方面仍然十分糟糕。只要回顾一下过去两年来有关选举和疫苗的阴谋论在美国的传播，就能理解这对现实世界造成的损害。

这种差异引发了一些问题。为什么科技公司在内容审核方面没有改进?他们可以被迫这么做吗?人工智能的新进展会提高我们捕捉不良信息的能力吗?

大多数情况下，当科技公司被美国国会要求对传播仇恨和错误信息做出解释时，它们往往会把自己失败的原因归咎于语言本身的复杂性。Meta、Twitter 和谷歌的高管们表示，很难大规模地、用不同的语言解读与上下文相关的仇恨言论。

马克·扎克伯格(Mark Zuckerberg)最喜欢说的一句话是，科技公司不应该承担解决世界上所有政治问题的责任。

大多数公司目前同时使用技术和人工内容审核员，后者的工作被低估了，这反映在他们微薄的薪酬上。

例如，在 Facebook 上删除的所有内容中，人工智能目前负责了 97%。

然而，斯坦福互联网观测站的研究经理蕾妮·迪雷斯塔(Renee DiResta)说，人工智能并不擅长解释细微差别和背景，所以它不可能完全取代人类内容审查员，即使人类也不总是擅长解释这些事情。

文化背景和语言也会带来挑战，因为大多数自动内容审核系统都是用英语数据训练的，不能很好地处理其他语言。

加州大学伯克利分校信息学院教授哈尼·法里德(Hany Farid)有一个更明显的解释。法里德说：“内容审核没有跟上风险的发展，因为它不符合科技公司的经济利益。这一切都与贪婪有关。别再假装这不是钱的问题了。”

由于联邦监管的缺失，网络暴力的受害者很难要求平台承担经济责任。

内容审核似乎是科技公司和不良行为者之间一场永无止境的战争。科技公司推出内容监管规则;不良行为者通过使用表情符号或故意拼写错误来逃避检测。然后这些公司试图堵住漏洞，人们再寻找新的漏洞，如此循环往复。

现在，大型语言模型来了......

现在的处境已经很难了。但由于生成式人工智能和 ChatGPT 等大型语言模型的出现，情况可能很快就会变得更加糟糕。生成式技术也有问题——比如，它倾向于自信地编造一些事情，并把它们作为事实呈现出来——但有一点是明确的：人工智能在语言方面越来越强大了，非常强大。

迪雷斯塔和法里德都表示，现在判断事情会如何发展还为时过早，但两人似乎都很谨慎。尽管许多像 GPT-4 和 Bard 这样的大模型都有内置的内容审核过滤器，但它们仍然可能产生有毒的输出，比如仇恨言论或如何制造炸弹的指令。

生成式人工智能可以让坏人以更大的规模和速度进行以假乱真的虚假信息活动。这是一个可怕的情况，特别是考虑到识别和标记人工智能生成内容的方法严重不足。

但另一方面，最新的大型语言模型在解释文本方面比以前的人工智能系统要好得多。理论上，它们可以用来促进自动内容审核的发展。

然而，为了实现这一特定目标，科技公司需要投资重新设计大型语言模型。虽然微软等一些公司已经开始对此进行研究，但还没有多少引人注目的活动。

法里德表示：“尽管我们已经看到了许多技术进步，但我对内容审核方面的任何改进都持怀疑态度。”

大型语言模型仍然在与上下文作斗争，这意味着它们可能无法像人类审核员那样解释帖子和图像的细微差别。跨文化的可扩展性和特殊性也带来了问题。“你会针对特定类型的小众市场部署一种模型吗?是按国家划分的吗?是按社区来做的吗?这不是一个放之四海而皆准的问题，”迪雷斯塔说。

基于新技术的新工具

生成式人工智能最终对在线信息领域是有害还是有益，可能在很大程度上取决于科技公司能否拿出好的、被广泛采用的工具来告诉我们内容是否是由人工智能生成的。

这是一个相当大的技术挑战，迪雷斯塔告诉我，合成媒介的检测可能是一个优先考虑的问题。这包括像数字水印这样的方法，它指的是嵌入一段代码，作为一种永久性的标记，表明附加的内容是由人工智能制作的。用于检测人工智能生成或操纵的帖子的自动化工具很有吸引力，因为与水印不同，它们不需要人工智能生成内容的创建者主动标记。也就是说，目前尝试这样做的工具在识别机器生成的内容方面并不是特别好。

一些公司甚至提出了使用数学来安全地记录信息的加密签名，比如一段内容是如何产生的，但这将依赖于像水印这样的自愿披露技术。

欧盟上周刚刚提出的最新版《人工智能法案》(AI Act)要求，使用生成式人工智能的公司要在内容确实是由机器生成时通知用户。随着对人工智能生成内容透明度的需求增加，我们可能会在未来几个月听到更多关于这类新兴工具的消息。