
网络犯罪地下世界中的 AI:炒作遇上手艺
目录
现在谈到 AI 和网络犯罪时,很多叙事听起来像科幻:自主恶意软件、数字超级黑客、模型在夜里自动拆解企业网络。我认为这种故事太方便了。它很响亮,也很容易传播,但它会让人忽略真正的问题。
AI 在网络犯罪中最危险的地方,并不是每个犯罪团伙突然都有了一个地下天才。真正危险的是,许多枯燥的工作步骤变得更便宜、更快、更容易规模化:翻译、改写、筛选受害者、让 phishing 更可信、解释代码、调试错误、分析数据泄露、改写 social engineering 话术、包装工具,以及让虚假说法看起来更专业。
网络犯罪中最危险的 AI 不是自主超级黑客,而是加速犯罪日常工作的助手。
地下市场很少出售纯粹真相
讨论这个主题时必须保持怀疑。犯罪论坛、Telegram 群组和所谓 cybercrime-as-a-service 中有大量宣传。有些卖的是真工具。有些只是改名的 open-source 工具、公共模型外面的简单 wrapper、被盗账号、jailbreak prompts、无用面板,或者骗其他骗子的骗局。
某个地方宣传 “AI hacking tool”,并不代表它技术上很厉害。USENIX 关于 Malla 服务,也就是 “Malicious LLM-integrated applications” 的研究很有参考价值:研究者分析了 212 个真实地下服务,发现了 8 个 backend LLM 和 182 个 jailbreak prompts。这说明市场是真实的,但许多产品不是秘密超级模型,而是 wrapper、jailbreak 和被滥用的公共或开放模型。
Google Threat Intelligence 也描述了类似模式。Xanthorox 被宣传成地下自研攻击模型,但按 Google 的说法,它依赖 jailbroken 商业 API 和 open-source 组件。包装像地下实验室,底层技术往往更普通。
所以不要走两个极端:一个极端说全部只是 hype,不必认真;另一个极端说 AI 将接管网络犯罪,传统安全会失效。更有用的看法更冷静:AI 不是魔法,但它很适合现有工作流。只要一个工具能省时间、降低语言障碍、每小时生成更多变体,它就会变得有吸引力。
今天已经可信的变化
OpenAI、Google Threat Intelligence 和 Europol 的公开报告显示了相当一致的画面:攻击者主要在 AI 能加快工作、提高质量的地方使用 generative AI。它不是技能的完整替代品,而是放大器。
最重要的领域包括 phishing 和 social engineering、诈骗和身份滥用、被盗数据处理、技术辅助,以及工具包装和销售。文本更自然、更本地化。个人资料、发票、支持请求和投资故事更可信。Logs、dumps、邮箱、CRM 导出、截图和聊天记录能被更快分类。模型可以解释代码、修改 scripts、理解 errors、生成 regex、理解 API 响应或梳理 exploit 想法。即使普通工具,也能被 AI 文档化、推广和支持得更好。
最硬的证据在诈骗领域
越技术化的说法,公开证据往往越薄。fraud 和 social engineering 不同。FBI IC3 2025 报告使用 “AI Related” 作为描述符,并列出 22,364 起投诉和 893,346,472 美元报告损失。这不是完美的取证测量,“AI Related” 也不等于因果关系被证明。但它是很强的信号。
其中,带有 AI 关联的投资诈骗损失超过 6.32 亿美元,BEC 案件超过 3,000 万美元,就业诈骗接近 1,300 万美元。这正好符合本文的判断:最大可见损害并非来自自主恶意软件,而是来自更好的欺骗、更大的规模和更可信的身份。
我不相信什么
我不相信犯罪团伙已经广泛使用自主 AI agents,能够在无人指导下选择现实目标、入侵系统、横向移动、窃取数据并完整完成勒索。
个别实验肯定会有,proof of concept 也会有。但公开且可靠的报告更显示另一件事:AI 被用于子任务,例如研究、翻译、代码帮助、活动准备、变体生成、social engineering 和数据分析。英国 NCSC 也认为,到 2027 年前,完全自动化的高级 end-to-end 攻击不太可能。更现实的是 human-machine teaming:人设定目标、选择受害者、检查结果,让 AI 加速单个步骤。
网络犯罪不需要完全自主化才会更危险。只要同样的团伙能发起更多尝试、更快本地化、更快学习、更像专业组织,就已经足够糟糕。
欺骗质量正在上升
许多安全概念仍然非常依赖人的识别:员工要报告可疑邮件、识别假链接、注意奇怪语言、质疑异常请求。这仍然重要,但会越来越难。
如果攻击者能按熟悉供应商的风格写发票,让支持请求匹配真实产品环境,让 LinkedIn 消息不再像机器翻译,并且在十种语言中同时干净地推出骗局,防御方式就必须改变。
需要技术刹车:
- 强 MFA,最好能抵抗 phishing
- Conditional Access 和设备绑定
- 使用 SPF、DKIM 和 DMARC 的邮件认证
- 检测 OAuth app 滥用
- 防止新的 inbox rules 和可疑 forwarding
- 邮件之外的付款和审批流程
- 在损害发生前就开启 logging
Cybercrime-as-a-Service 更专业
网络犯罪早已分工:initial-access brokers、phishing kits、malware loaders、ransomware affiliate programs、data brokers、hosting、bulletproof infrastructure、洗钱网络、翻译、call centers 和支持渠道。
AI 正好嵌入这种结构。提供者更快写文档。affiliate 更快调整活动。数据卖家更好描述泄露。scammer 回答客户问题。开发者更快调试。经验较少的犯罪者更容易跨过技术门槛。
Microsoft 将 AI 描述为 “tradecraft”:它加速 text、code、media、data summarization、persona building、malware debugging 和 infrastructure scaffolding。Google 也观察到 HONESTCUE 这类 AI-integrated malware 实验。它们值得重视,但仍是工作流中的模块,不是大规模自主攻击的证明。
防守者看到更多噪声
对 admins、MSP 和 security teams 来说,副作用是噪声增加:更多 phishing 变体、写得更好的假支持请求、更干净的扫描、半自动 recon、所谓 exploits、听起来可信的 reports,以及名字里有 AI 但技术含量很少的 tools。
核心问题不是:“这里用了 AI 吗?” 更好的问题是:有没有真实攻击路径?我们的环境中是否有受影响系统?身份层是否受保护?是否有外部攻击面?有没有显示利用或准备的 telemetry?报告的 impact 是被证明的,还是只被声称?我需要 patch、configure、block、monitor,还是只 document?
这也符合我在 AI 时代的 Patchday 中的想法:信号越来越多,但安全不是靠对每个数字恐慌,而是靠更好的优先级。
更少攻击面更有价值
攻击越能规模化,枯燥的减少越有价值:更少公开服务、更少本地工具、更少浏览器扩展、更少管理员账号、更少长期 token、更少 shadow IT、更少"先快速批准"、更少没人负责的旧测试系统。这不是华丽的 AI 反击,而是 hygiene。当欺骗更好、recon 更便宜时,这种 hygiene 更重要。
现在应该做什么
我会用具体问题回应这个主题:最重要账号是否 phishing-resistant?我们是否能看到可疑身份事件,例如新的 OAuth apps、异常登录地点、新 inbox rules、可疑 forwarding 和大量失败尝试?金钱、数据和访问是否有清晰流程?关键请求是否通过第二个既定渠道验证?remote hiring 和 helpdesk 是否足够严格?patching 是否按风险而不是按日历感觉?是否减少不真正需要的工具?
我的判断
网络犯罪地下世界中的 AI 不是遥远未来。它已经是工作方式的一部分。但最重要的点不是 “AI” 这个词,而是速度。
网络犯罪变得更高产、语言更好、更自动化、包装更专业。许多产品仍然夸大,有些是骗局,有些技术上很平凡。但整个市场正在移动。
如果只盯着所谓新超级武器,就会错过真正变化。变化发生在中间步骤:text、code、data、support、variants、scale。防守者也应该从那里开始。
不是每个组织都需要自己的 AI-SOC。但每个组织都需要更少攻击面、更好的身份安全、更干净的流程、更快的 patch 路径,以及足够 telemetry,避免盲飞。
AI 不会自动让网络犯罪变聪明。
但它会让平庸的网络犯罪更高产。这已经足够严肃。
下次见,
Joe
来源
- Google Threat Intelligence Group: Adversarial misuse of generative AI
- Google Threat Intelligence Group: Distillation, experimentation, and continued integration of AI for adversarial use
- OpenAI: Disrupting malicious uses of AI by state-affiliated threat actors
- OpenAI: Disrupting malicious uses of AI, October 2025
- Microsoft Threat Intelligence: AI as tradecraft
- FBI IC3: 2025 Internet Crime Report
- USENIX Security 24: Malla
- Europol: Internet Organised Crime Threat Assessment 2026
- NCSC: Impact of AI on cyber threat from now to 2027


