下一个打破范式的威胁？
正确评估生成式人工智能对恐怖主义的潜在影响
原文信息
【标题】The Next Paradigm-Shattering Threat? Right-Sizing the Potential Impacts of Generative AI on Terrorism
【日期】March 18, 2024
【来源】美国中东研究所（Middle East Institute）
【作者】David Wells
【链接】https://www.mei.edu/publications/next-paradigm-shattering-threat-right-sizing-potential-impacts-generative-ai-terrorism
编译信息
【译者】包澄章（上海外国语大学中东研究所）
【期数】第350期
【日期】2024年4月2日
本研究将分析迄今为止恐怖分子和暴力极端分子与生成式人工智能互动的方式及程度，确定他们未来滥用生成式人工智能的潜在方式，然后将这些威胁与生成式人工智能更广泛的潜在影响联系起来。在此过程中，本研究寻求确定恐怖主义行为体滥用这项技术的潜在轨迹，并为政策制定者提出一些初步建议。
到目前为止我们看到了什么？
2023年11月初，联合国反恐怖主义委员会执行局（CTED）支持的“科技反恐”倡议的一份报告得出结论：相对较少的证据表明恐怖分子和暴力极端分子正系统性利用生成式人工智能。尽管数据集相当小，但报告中的例子说明了生成式人工智能对恐怖分子和暴力极端分子最明显的用途——宣传制作。该报告进一步指出，哈马斯在2023年10月7日曾使用人工智能生成或增强的图像，通过“卡桑旅”（Izzd Ad-din al-Qassam Brigades）官方频道分享了几张宣传海报。
美国政府机构也对恐怖分子和暴力极端分子使用生成人工智能发出警告。2023年10月下旬，美国联邦调查局局长克里斯托弗·雷（Christopher Wray）透露，联邦调查局有证据表明，人工智能被用于“扩大恐怖主义宣传的散布或传播”，对翻译工具的使用使宣传“对潜在的支持者更加连贯、更加可信”。雷补充说，恐怖分子还试图绕过人工智能基础设施中内置的保障措施，使他们能够进行“如何制造炸弹”等搜索。
最后，生成式人工智能被用来激化国内紧张局势、鼓励两极分化。2023年4月，德国极右翼政党德国选择党（AfD）一名副主席在推特上发布了几张人工智能生成的图片。其中一张图片显示一群皮肤黝黑的男子大喊大叫，附上“不要再有难民了”的文字，另一张图片是一位满脸是血的年轻金发女子。2023年11月阵亡将士纪念日期间，一场原本计划在在伦敦举行的和平游行，因TikTok上传播的两段深度伪造视频局势骤然紧张，视频中伦敦市长萨迪克·汗（Sadiq Khan）显然对该活动的重要性不屑一顾。这些视频内容被极右团体放大，他们随后进行了自己的暴力反抗议。
并非所有参与生成式人工智能的恐怖分子或暴力极端分子都持积极态度。因此，有必要质疑恐怖主义和暴力极端主义行为体仅仅根据对生成式人工智能潜在能力的评估就迅速采用生成式人工智能的假设。尽管研究表明，技术能力和可及性是恐怖主义创新的关键驱动因素，但恐怖主义和暴力极端主义行为体也会评估任何新技术（与其作案手法和意识形态）的兼容性、相对复杂性、成本以及技术应用场景。理解这些因素，将是监测恐怖分子和暴力极端分子采用生成式人工智能工具程度的一个关键方面。
什么是潜在用例？
学术研究和跨部门分析已确定了目前可以利用生成式人工智能技术的一系列方式。在绝大多数用例中，当前的生成式人工智能有可能改进或优化恐怖分子或暴力极端主义行为体可通过其他方式实现的流程，而不是为他们提供全新的能力。然而，鉴于到这些新能力可能带来的潜在影响和规模，将这些新能力结合实际情况考虑至关重要。
现有能力
到目前为止，大部分分析都集中在生成式人工智能如何协助恐怖主义和暴力极端主义宣传的制作和传播这一层面。最值得注意的是，生成式人工智能可以前所未有的规模和速度创建新图像，或对现有图像进行篡改。同样，行为体现在可以使用此类工具生成合成视频和音频，包括对知名人士和名人进行深度伪造。尽管视频制作的可靠性和质量通常不一致，但2024年2月发布的OpenAI的Sora可以根据文本提示生成视频，表明这项技术发展迅猛。各种不断改进的大型语言模型可以使用不同的样式、格式和最相关的语言来创建文本。此前，恐怖组织必须依靠人工（往往质量相对较差）翻译宣传材料，这一过程严重依赖少数个人的技能。从理论上讲，生成式人工智能可用于创建及转录视频和音频宣传，或近乎即时地生成基于文本的多种语言宣传。
必须强调的是，制作恐怖内容只是整个过程的第一步。恐怖分子还需要找到一种在线存储和共享内容的可靠方法。由于监管、破坏性行动和公私合作伙伴关系的结合，目前很难在大多数主要平台上做到这一点，恐怖分子转而依靠规模较小、监管较少的选项拼凑内容。然而，至关重要的是，生成式人工智能为恐怖分子提供了优化规避主要平台反制措施——特别是使用所谓的“哈希共享”（hash-sharing）技术——的潜在能力。目前，科技公司可以相互共享恐怖分子内容的“数字指纹”即“哈希值”（hash），以便及时删除和/或从源头上阻止其上传。使用生成式人工智能来操纵图像，可以在不实质性改变文件的情况下改变这个数字哈希，有效“破坏哈希共享作为解决方案”。尽管主要平台可以通过其他方式识别和删除恐怖分子内容，包括使用自然语言处理来识别与现有恐怖分子内容相似但不完全相同的新内容，但自2016年以来，“哈希共享”一直是跨平台工作打击恐怖主义内容的核心。作为一种解决方案，它的潜在退化被描述为“巨大风险”。
其他优化过程可能包括对潜在目标或攻击方法的研究。例如，2023年10月的一份报告得出结论，多个大型语言模型提供的指导“可以帮助规划和执行生物攻击”。但笔者也发现，经过测试的大型语言模型没有为制造武器生成明确的指令，敌对行为体可能需要“越狱”大型语言模型——移除或绕过已到位的保障措施——来获得此类数据。
最后，生成式人工智能技术的改进也可能使个人用户创建新游戏或修改现有游戏的能力得到极大扩展。恐怖分子利用游戏及其相关系统进行激进化煽动、招募新兵和潜在地筹集资金，已成为许多政府日益关注的问题。与恐怖分子利用互联网和社交媒体一样，针对游戏相关问题新的应对措施相对是以平台为中心，辅以更强有力的内容审核政策，以及参与全球网络反恐论坛（GIFCT）等现有多边倡议和伙伴关系。但生成式人工智能也可能进一步分散游戏生态系统并使其碎片化，使得审核责任变得更加困难，并给寻求删除内容的政府实体带来挑战。反过来，这可能会使游戏和游戏相关平台成为对恐怖分子和暴力极端分子更具吸引力的目的地。
新的能力
除了这些潜在的改进外，生成式人工智能——或者至少是相对即将到来的人工智能迭代——还可以通过多种方式为恐怖分子提供新的能力。
诸如ChatGPT等大型语言模型有潜力显著提高聊天机器人的性能，使它们摆脱预先编写的、基于规则的响应，并提高它们的类人品质（human-like qualities）。这引发了关于创建“恐怖主义GPT”的可能性的讨论，这种定制的聊天机器人可以鼓励个人走上激进化的道路。
这并不是一个完全的假设性讨论。2021年圣诞节，英国警方在温莎城堡逮捕了一名19岁男子。该男子手持一把上膛的十字弓，计划用这它杀死英国女王伊丽莎白二世。陪审团在随后的审判中得知，在袭击未遂前两周内，这名男子与一名虚拟在线伴侣交换了5000多条信息，据称他认为这名虚拟在线伴侣是化身天使。一些消息也佐证了这位在线同伴似乎支持暗杀计划。
这个案例凸显了可定制的人工智能助手，尤其是那些模糊人类与技术之间界限的人工智能助手，可以为弱势群体提供相互强化的在线环境的风险。在过去一年的大部分时间里，一直有人试图故意定制这项技术，以鼓励阴论谋思维、极端主义世界观，甚至恐怖主义暴力。2023年4月，在Meta的高级“大语言模型元AI”（LLaMA）泄露后，4chan社区成员声称他们已经能够“半定制”大语言模型元AI，绕过安全措施并创建编辑过的模型，这些模型可能会提示表达深刻的反犹思想。
考虑到人工智能模型进一步泄露的风险以及修改现有开源模型（包括LlaMA2）的持续努力，这不太可能是恶意行为者出于邪恶目的寻求修改大型语言模型的唯一实例。事实上，2023年10月，预算不到200美元的研究人员能够使用低级适应技术来推翻Llama2的安全功能，生成包括仇恨、凶杀和自杀在内的一系列有害内容。2024年2月，极右翼社交网络Gab推出近100个“未经审查”的聊天机器人，其中包括“阿道夫·希特勒”和“奥萨马·本·拉登”聊天机器人，前者公开宣称否认制造犹太人大屠杀。
尽管这些新的尝试引起了可以理解的担忧，但创建一个能与现有的人类驱动的激进化和招募技术复杂性相匹配、成熟的“恐怖主义GPT”聊天机器人，目前需要的技术专业知识、硬件和时间水平超出了大多数恐怖分子的能力。即便可以克服这些障碍，将激进化和/或招募过程外包给新技术也会对任何恐怖分子或暴力极端主义行为体构成潜在的安全风险（相对于“电报”等现有技术解决方案），因为聊天机器人输入和输出内容的存储和共享存在不确定性。
这种风险的必然结果是，包括英国恐怖主义立法独立审查员在内的一些人表示，在涉及刑事责任时，源自“恐怖主义GPT”聊天机器人的活动可能会落入法律的灰色地带。事实上，英国工党已承诺，如果赢得下一次选举，将出台一项法律，将训练人工智能煽动暴力或使弱势群体激进化的行为定为刑事犯罪。在当前情况下，最有可能出现的是后一种情况——即便是迄今为止相对简单的活动，也有可能导致特别脆弱的个人走向极端主义意识形态和暴力——但技术变革的步伐可能会迅速改变这种威胁评估。
最后，生成式人工智能还具有促进网络活动的潜力，ChatGPT和大型语言模型能够用多种编程语言生成代码。十多年来，网络恐怖主义一直被认为是一种潜在威胁，但除了“伊斯兰国”对一些相当简单的网站进行破坏和哈马斯的社会工程黑客活动外，这些担忧特别是针对关键基础设施的网络攻击，迄今为止几乎还没有发生。
更广泛的环境挑战
尽管理解、监控和适应恐怖主义和暴力极端主义对生成式人工智能的使用应该是未来的政策优先事项，但可以说，对反恐领域更大的影响将来自生成式人工智能对有利于激进化的条件的影响。
在某些情况下，这些可能是相对直接的，如人工智能对个人经济不安全感的影响。生成式人工智能的蓬勃发展已导致企业裁员，2023年5月，美国约有5%的工作岗位因人工智能而流失。2023年11月对750名商业领袖进行的一项调查发现，37%的公司已在2023年用人工智能取代员工；44%计划在2024年使用人工智能的公司认为，人工智能肯定或可能导致进一步失业。一些估计表明，多达3亿个工作岗位将被人工智能取代，因此这一过程只会加速。
在其他情况下，影响可能是与技术环境或背景有关，如生成人工智能对已经支离破碎的信息环境造成负面影响。“自由之家”（Freedom House）2023年年度报告发现，至少有16个国家使用生成式人工智能工具来扭曲有关社会和政治问题的信息，并得出结论：危机时刻或选举期可能成为人工智能生成内容的爆发点。
与此同时，为削减成本，苦苦挣扎的媒体生态系统正转向生成式人工智能。大多数新闻编辑室已在新闻制作中使用某种形式的人工智能，一些新创建的新闻网站几乎完全由人工智能软件编写（报道中的）故事。这些发展对新闻准确性的影响，用于检测而不是生成人工智能生成内容的资源的巨大不平衡，以及事实核查组织面临的现有困境，使得对在线内容真假的辨别变得十分困难。随着人工智能技术的不断发展，人工智能生成的不准确或带有偏见的内容数量不断增加，信息环境可能进一步恶化。这本身就会对国家安全和国际安全产生严重影响，也会有利于恐怖分子和暴力极端主义行为者，因为它助长了一种阴谋论的后真相环境，使各种极端主义得以滋生。
最后，生成式人工智能可能会产生二阶效应，从支持专制政权到对气候变化产生负面影响（气候变化本身就可能加剧激进化的驱动因素），延续更广泛的社会趋势，如两极分化、技术导致的性别暴力事件增加，以及在决策中嵌入偏见和歧视。可以说，这些趋势本身都比恐怖主义和暴力极端主义更为重要，但反过来它们也会为恐怖分子和暴力极端分子创造可资利用的条件。
结论和建议
鉴于生成式人工智能对恐怖主义和暴力极端主义的直接和间接影响，协调一致的应对措施将面临重大挑战，特别是在人工智能军备竞赛、多边主义和基于规则的秩序面临日益严峻的挑战的背景下。
国家、地区和国际政府的应对
从欧盟《人工智能法案》等新形式的立法，到各种公私部门磋商、双边和多边协议，以及联合国人工智能高级别咨询机构的成立，各国政府和国际组织对理解和应对人工智能带来的风险和机遇越来越感兴趣。
然而，这些举措大多范围广泛，重点关注人工智能，而不是具体的生成人工智能，很少有举措在很大程度上关注恐怖主义，因为其他与人工智能相关的威胁和挑战，且迄今为止有关生成式人工智能和恐怖主义的数据相对匮乏。
但也有迹象表明，人们对这一具体问题的兴起日益浓厚。2023年3月下旬，欧洲刑警组织于发布了一份《技术观察快讯》（Tech Watch Flash）报告，概述了关于犯罪分子和恶意行为者（包括恐怖分子）利用大型语言模型的内部讨论。2023年9月，全球网络反恐论坛的“红队演习”（red-team exercise）重点关注生成式人工智能对网络恐怖主义和极端主义的影响。
这类多学科演习的进一步迭代，特别是那些整合学术界和民间社会观点的演习，将使反恐界能够随时了解新的生成式人工智能工具迭代所带来的不断变化的风险。国家和区域机构还应探索在执法机构和和其他在线平台接触时建立的框架和模式的基础上，在执法机构与生成人工智能企业之间建立对话。除了这些更具协作性、自愿性的举措外，各国政府可能还需要考虑具体的反恐法律，以解决聊天机器人（以及其他形式的人工智能生成内容）在刑事责任方面提出的现有立法中的潜在空白。
科技行业的应对
社交媒体平台过去的经验表明，如果对威胁或滥用其系统进行的重大负面宣传缺乏有意义的监管，生成人工智能部门的合作和透明度可能是有限且零碎的。尽管有这样的预测，政府的参与和更广泛的宣传工作应该继续下去，鼓励提高用于训练人工智能系统的数据集，以及防止其滥用现有流程的透明度。
同时，也应鼓励并在可能的情况下支持行业和非营利组织加强对人工智能生成内容进行检测。应继续努力将生成式人工智能领域整合到打击恐怖分子利用互联网的各类多边努力中，包括全球网络反恐论坛和极端主义与游戏研究网络（Extremism and Gaming Research Network）。在这方面，OpenAI和Anthropic于2023年11月加入“基督城呼吁”（Christchurch Call）项目，科技行业成员通过加入这项多部门倡议做出一系列不具约束力的承诺，包括围绕透明度和防止恐怖分子和暴力极端分子利用其平台。
学术界和民间社会的作用
最后，研究人员和非政府团体也可以发挥关键作用。除了潜在的应对措施之外，还需要对恐怖分子和暴力极端分子目前和潜在使用生成式人工智能的情况进行进一步循证研究。民间社会必须继续倡导许多民间社会必须针对许多人工智能工具中固有的歧视和偏见进行宣传，努力确保将必要的人权保护纳入生成式人工智能以及该部门与政府实体的关系中。民间社会组织还将在创建和提供急需的数字和媒体素养教育方面发挥至关重要的作用，帮助解决现有的挑战和区分人工智能生成的内容与人类创建的内容的新困难。
利用反恐及预防和打击暴力极端主义的经验教训：未来前景
在所有这些领域，利益攸关者必须提醒自己，虽然生成式人工智能技术是新技术，但它带来的许多挑战并不是新的；此外，过去二十年反恐以及预防和打击暴力极端主义（P/CVE）的许多经验教训仍具有极其重要的现实意义，包括多边合作的重要性、公私伙伴关系和民间社会组织参与的中心地位，以及尊重人权的必要性。特别是在不久的将来，人工智能和生成式人工智能可能会完全融入反恐及预防和打击暴力极端主义。
鉴于生成式人工智能加剧负面趋势的广度以及推动该行业发展的大量资金（使有意义的监管变得困难），在解决生成式人工智能对有利于激进化的条件的间接影响方面，似乎不太可能取得重大进展。这一预测虽然是负面的，但进一步强化了对一切形式的恐怖主义和暴力极端主义采取全面、全政府和全社会应对措施的必要性。相比之下，现阶段生成式人工智能对恐怖主义领域的直接影响仍然有限（但这种影响可能会加速），这为多部门参与者提供了一个潜在机会，可以在问题失控前了解并开始应对新出现的问题。
（本简报仅提供参考译文，以作交流之用，文中陈述和观点不代表编译者和编译机构的立场。如需引用，请注明原文出处。）
