恐怖分子如何利用人工智能驱动的社交媒体
原文信息
【标题】Terrorist Use of Artificial Intelligence‒Driven Social Media
【日期】April, 2025
【机构】北约反恐防御卓越中心（NATO, COE‒DAT）
【作者】Brennan Deveraux
【链接】http://www.coedat.nato.int/publication/researches/21-TheWeaponizationofAI-TheNextStageofTerrorismandWarfare.pdf
编译信息
【译者】包澄章（上海外国语大学中东研究所）
【期数】第471期
【日期】2025年5月17日
【内容提要】文章认为，恐怖分子对社交媒体的利用是当前较为显著的方式之一，社交媒体的匿名性和可访问性使其操作更加分散化，从而加大了反恐力量的侦测难度。此外，社交媒体算法在促进用户参与时，可能无意中放大了极端主义内容，增加了普通用户接触恐怖主义叙事的风险。因此，社交媒体已成为恐怖分子与反恐力量争夺个人数据的战场。文章通过对国家安全、执法机构及民间社会组织的调查与访谈，深入探讨了这一动态的潜在危害，以更好地理解多方社会主体对恐怖分子使用人工智能威胁的看法。研究发现，人工智能与个人数据的结合显著提升了宣传活动的有效性。特别是生成式人工智能，因其能生成新颖、引人注目且常常虚假的内容，将使恐怖组织的规模与影响力显著扩大。
引言
由于数字化进程的迅猛发展，信息恐怖主义正影响整个数字生态系统，即由相互连接的系统、服务与设备组成的网络，共同实现特定目标。如同生物生态系统中的生物相互依赖，数字生态系统由相互交织的元素构成，这些元素可以是计算机、智能手机、物联网设备，也可以是操作系统、应用程序或云服务。本研究聚焦于生成式人工智能，未涉及其他人工智能分支或形式。选择生成式人工智能的原因在于其独特的风险，较之数据处理、分类或预测算法等其他人工智能形式更为显著。由于生成式人工智能能够生成新内容，就可能产生不真实或不准确的内容，因为其算法基于学习数据合成新的文本、图像或视频。
文献综述
已有若干研究探讨了人工智能与社交媒体的关联。一项近期研究全面概述了人工智能与社会科学的关系，特别是大型语言模型在社会研究中的应用，展示了人工智能系统如何用于假设生成与测试，以及实验和调查研究等研究方法。另一项来自圣母大学的研究考察了人工智能机器人（可自动执行任务、与人交流并从中学习）和生成式人工智能模型（大型语言模型）在数字话语中的作用，特别是在社交媒体上传播虚假信息。研究发现，人工智能生成的虚假个人资料容易误导用户并影响政治话语。
人工智能对社会的影响显著，尤其是在暴露受保护数据以供操纵和滥用方面。社会科学日益利用人工智能分析社会行为和趋势，因其能处理大量个人数据并发现关联。人工智能从个人数据中学习，从数据保护角度看尤为问题重重。社会科学揭示了人们对人工智能系统使用其数据的信任、心理安全感及自由决策能力的受损情况。人工智能在信息操作中的重要性也日益增加，可自动生成大量虚假新闻或操纵性内容，发起针对性宣传活动，或在社交媒体平台上塑造公众舆论。
在恐怖主义领域，人工智能聊天机器人可在极端组织招募活动中进行高效的初步筛选。聊天机器人可根据预训练的分类标准对感兴趣的个体进行分类，还可帮助恐怖分子识别易受影响的受众，并将其引导至真实极端主义者进行下一阶段的招募。社交媒体促成的私人和职业生活融合将增强虚假信息宣传的效果，特别是通过深伪技术（deepfake），因为用户可能无法始终区分机器人与真实用户。
匈牙利军事国家安全局（KNBSZ）预算研究中心是最早总结人工智能研究领域多项科学工作的机构之一。作为其研究的一部分，该中心于2021年与其他大学和研究中心合作，启动了广泛的基础研究计划，以更好地理解人工智能在恐怖主义虚假信息活动中的作用。本文总结了研究结果并提供了风险分析，其中风险被理解为可能性与影响的函数。
研究发现：人工智能与社交媒体
恐怖主义与社交媒体的联系在于，恐怖组织常利用社交媒体平台传播宣传、招募新成员及协调攻击。此外，社交媒体为信息的快速广泛传播提供了机会，恐怖组织利用这一特性煽动暴力和恐惧。从根本上讲，宣传操作与虚假信息活动密切相关，二者均旨在影响目标个体或群体的观点和行为。宣传是一种针对性的沟通形式，传递关于特定意识形态、政府或事业的正面或负面信息。宣传可能真实或虚假。虚假信息是虚假宣传的子集，旨在通过传播虚假或误导性信息造成混乱或扭曲公众舆论。人工智能可通过以下方式支持宣传和虚假信息活动：
自动化宣传
人工智能可帮助恐怖分子更高效、快速地传播其宣传。自动化系统能生成大量内容并在社交媒体平台上进行针对性分发，从而增强内容的冲击力。在这种情况下，关系如下：包含一般个人数据的数据库，例如用户的宗教信仰、居住地或原籍、家庭出身、过往学习经历或特殊课程等信息，使机器人网络（botnets）能够针对性地传递极端主义宣传材料。
利用人工智能从互联网搜刮个人信息的成本相对低廉且高效。因此，尽管此类数据库因法律原因在欧洲国家较为罕见，但其影响因此得到缓解。然而，极端组织可通过非法手段获取数据，例如从暗网购买或通过钓鱼等社会工程方法。使用非法获取的数据，自动化系统可轻松训练以聚焦特定目标群体。例如，系统可按地理位置过滤大量数据，然后针对相关年龄段的人群进行宣传。结果是，在地理和社会范围有限的目标群体中，系统能够筛选出可能易受激进化的特定宗教信仰者，使传递给目标群体的宣传更有效。
深伪技术
深伪是一种合成媒介，人工智能通过深度学习技术操纵真实数据以生成虚假图像。深伪技术使恐怖分子能够创建涉及政治人物、公众人物或名人的视频以诋毁其名誉，或制造创伤性事件以引发恐慌。2022年3月乌克兰总统泽连斯基的深伪视频是一个典型案例，视频中他呼吁乌克兰军队停止军事行动。该视频制作水平较低，辨识其非真实总统形象较为容易。但随着深伪技术的成熟，其在危机时期造成混乱的潜力不难想象。
互联网用户识别深伪技术可能具有挑战性，但一些迹象和方法可用于识别虚假视频或宣传。深伪视频常包含面部运动的小错误，例如泽连斯基深伪视频中，唇部运动与声音不完全匹配。图像与声音之间可能出现轻微偏差。面部表情、眨眼或眼球运动的频率可能不自然。此外，若视频中显示的事件不在角色的视线范围内，或视线朝向观众方向，则可能是虚假的。换言之，若深伪视频中的虚假角色朝向或背对观众，视频很可能是伪造的。深伪视频通常无法准确再现皮肤纹理及光影效果，特别是在光线变化的条件下。背景可能包含奇怪的模糊或扭曲，或背景可能失焦。
尽管创建深伪较为容易，但在技术成熟之前，深伪的风险等级为中等，因为受过教育的用户应能识别出其为人工制造的媒体。开发检测深伪的过滤器将进一步降低其影响。
人工智能生成的虚假用户资料
人工智能生成的虚假资料使恐怖分子能够采用虚假身份，便于融入社区、传播意识形态、招募新成员，甚至获取信息。这些资料可能极为逼真，难以与真实用户资料区分。当然，部分虚假资料使用了真实个人数据，从而加速了创建过程。
在某些情况下，虚假资料可用于从政府部门工作人员中提取信息。这些资料甚至适用于在线消息应用程序和社交媒体服务，以与拥有潜在敏感信息的政府部门人员进行针对性互动。借助虚假资料和心理操纵工具，恐怖分子可接近目标并从中获取信息。此外，另一个问题是，由于使用虚假资料，难以识别使用此类资料的个人或团体。
宣传生成
极端组织可利用人工智能生成吸引目标受众情感、偏见和不满的内容，从而更有效地传播其意识形态。人工智能传播宣传不仅更有效，且速度远超传统方法。借助租用的机器人网络分发的由人工智能准备的针对性宣传材料，使极端组织的活动更加高效。宣传材料的分发在到达正确目标受众时最为有效。然而，有效个性化需要个人数据等数字原材料。因此，机器人网络需要了解目标的以下数据以准确传播虚假信息：
u 姓名和电子邮件地址：包含个人诉求或相关信息的消息更易获得目标受众的回应。使用姓名可提升机器人消息的可信度，从而使特定宣传内容触及更多人并提高参与度。
u 兴趣或隶属关系：基于电子邮件地址或其他数据收集的信息，机器人网络可更准确地锁定特定人群，例如按年龄、兴趣、地理位置或宗教信仰。
u 社交媒体资料：除了目标的个人数据外，其他联系人也一并可用。机器人网络可轻松将消息转发给目标的联系人，或利用受害者的联系网络成倍提高分发效率。
对民间社会的风险
本研究还收集了匈牙利专业企业与公共协会的观点，以更好地理解人工智能技术对社会的影响。提出的问题涉及影响与缓解措施：
u 极端组织可能将非法获取的个人数据用于何种目的？
u 对于欧盟及北约成员国，是否应在哪些领域实施更严格的立法或技术指南，以降低欧盟及北约成员国因生成式人工智能处理个人数据引发的风险？
受访者提出的风险因素包括：
u 开放互联网上合法可用的个人数据越来越多，恶意行为者可轻易获取。
u 通过社会工程获取个人数据较为容易，随着个性化消息的普及，这一问题将加剧。
u 政府与企业需在网络安全方面加强合作。
u 大型跨国公司因依赖网络安全实践不足的承包商而尤为脆弱。
u 政府与企业的关键及高级人员需确保家庭与工作场所的良好网络安全，否则可能通过联网家电或其他家庭设备收集个人数据，进而被用于访问敏感系统。
u 合法与非法获取的大量数据结合人工智能算法，可使犯罪及恐怖组织从事预测性分析等情报活动，显著增强其能力。
u 恶意使用合法与非法获取的健康及遗传数据（例如用于制造生物武器）可能成为严重问题。
受访组织列出的高风险活动包括：
u 金融滥用
u 针对性虚假信息
u 深伪
u 社会工程（如钓鱼，以识别个人及组织漏洞并分析目标个体）
u 身份盗窃（如获取或复制社交媒体账户，用于针对性传播，寻找社交媒体漏洞以锁定极端主义者）
u 预测性分析以预测未来行动
问卷调查结果
问卷调查旨在更准确地描绘人工智能威胁的图景，并评估当前威胁的范围。问题包括个体是否遇到过人工智能生成的内容，以及他们对相关风险的看法。共25人回应。结果显示，33.3%的受访者每天在社交媒体上花费30‒60分钟，23.8%花费1‒2小时，19.0%花费15‒30分钟。极端情况下，14.3%每天花费超过2小时，仅9.5%偶尔使用。关于社交媒体平台，28.6%的受访者报告使用YouTube，42.9%使用Facebook，表明这些平台可能是恐怖信息操作的重要渠道。但风险范围因用户需加入封闭群组而有所降低。
71.4%的受访者认为极端组织在其活动中使用人工智能，28.6%表示不知道答案，无人否认极端组织使用人工智能。这些结果表明风险意识较高，但组织访谈结果显示对如何缓解威胁的理解较低。仍有许多人对威胁缺乏认知，表明需更加强调教育。
关于缓解措施，调查询问受访者是否认为自己能识别人工智能生成的内容：47.7%表示可以，19%表示不能，其余不确定。尽管近半数人自信能识别人工智能生成内容，但其余部分足以说明组织表述的脆弱性。组织观察到，少数关键个体易受人工智能生成操纵的影响，可能为恐怖分子提供访问关键基础设施的机会。
问卷还询问受访者是否遇到过极端主义人工智能生成内容。61.9%的受访者表示未遇到；19%称即使遇到也无法识别其为极端宣传；19.1%表示已遇到此类内容。71%的受访者还表示，恐怖分子使用人工智能的最大风险是虚假信息。鉴于许多受访者从事执法、公共行政和教育领域工作，普通公众的比率可能更低。
缓解威胁：优势、劣势、机会与威胁（SWOT）分析
SWOT分析是对组织或实体（例如极端组织）的内部优势与劣势、增长与改进机会及外部环境对其生存构成威胁的考察。本分析内容基于访谈、调查和问卷。
优势
u 自动化与效率：人工智能可快速高效地分析大量数据，有助于招募与宣传。
u 匿名性：深伪和聊天机器人等人工智能技术使组织能够隐藏真实身份，难以追踪。
u 成本：人工智能的使用成本远低于极端组织使用的暴力方法与工具。信息技术设备的市价显著低于武器技术设备。
u 可用性：人工智能技术对恐怖组织广泛可用，可使用商业技术（包括算法和数据库），只需少量技术知识即可定制。例如，通过简单操纵关键词，恐怖组织可利用广告模型完成关键的激进化与招募任务。当社交媒体过滤器检测到此类内容时，恐怖组织通过修改关键词绕过过滤器，形成猫鼠游戏。即使恐怖虚假信息仅短暂存在，仍可产生预期效果。
u 可定制性：人工智能可相对容易定制，通过适当选择的模型提升效率。特别是在数据收集与清洗方面，个人数据可轻松从暗网市场获取，使极端内容以针对性方式触达用户。
劣势
u 技术限制：尽管相关模型商业化可用，但人工智能及其相关数据库的开发、运用与维护需要高水平专业知识和资源，并非所有极端组织都能负担。
u 伦理与法律障碍：人工智能的非法或不道德使用易引发法律后果，当局对此类活动的检测能力正逐步提高。
u 语言障碍：语言障碍可能使极端观点在其他社会群体的理解与传播变得困难，因语言与文化密切相关。特殊语言障碍，特别是非通用语言，极大复杂化了极端组织的活动，因为对于复杂或母语使用者较少的语言，机器语言生成器常因主要在通用语言上训练而出现错误，用户易识别其为机器生成。
机会
u 适应性技术：人工智能系统的发展为开发新的沟通与攻击计划方法提供了机会。
u 全球可用性：人工智能工具通过互联网易于获取，可在全球范围内使用，便于全球协调。
威胁
u 网络防御与对策：国家与国际组织正开发日益先进的人工智能防御系统，可更有效地识别与预防极端活动。
u 技术竞争：不同极端团体之间的技术竞争可能加剧，增加人工智能应用的复杂性与风险。
结论
本研究表明，极端组织日益预期将利用人工智能提供的服务。尽管目前极端团体似乎依赖商业可用能力，但随着人工智能技术变得更加普遍且成本更低，它们可能能够开发并训练自己的模型。恐怖分子使用人工智能的最大威胁被认为是虚假信息，其次是招募与激进化。对于这两项活动，使用人工智能创建宣传与招募材料相对容易。Facebook和YouTube等热门社交媒体平台是恐怖活动的关键渠道。尽管这些平台采取措施缓解极端主义使用，但用户常报告难以区分或识别极端宣传材料。
由于恐怖分子使用人工智能模型的特征尚不明确，团体可使用人工智能技术以执法机构难以检测的方式操作。这一问题更多是理论性的，因为极端组织自身的数据管理可能是非法的。如第七章后续文章将详细探讨，试图通过立法与监管缓解极端威胁的努力成效不一。由于人工智能模型商业化可用，极端分子即使目的非法，通常也可合法获取。尽管网络与信息安全指令等法规代表了限制极端分子获取的重要努力，但需采取更多措施确保适当的监督与执行。北约成员国还需在北约成员国以外标准化法规与保护措施。
（本简报仅提供参考译文，以作交流之用，文中陈述和观点不代表编译者和编译机构的立场。如需引用，请注明原文出处。）
