hego.red - AI/LLM 红队测试实战笔记

AI/LLM 红队测试实战笔记

范围:你到底该测什么?

这是 LLM 测试的界定范围环节,要在动手攻击之前做。规则和 Web 测试一样:你测的是客户拥有或改动过的部分,而不是原封不动的第三方模型。所以先把整套架构梳理清楚,标出哪些是客户的(在范围内)、哪些是厂商的(不在范围内),然后只攻击范围内的部分。

模型引擎是第三方那部分。如果客户只是原样调用厂商模型(Claude / OpenAI),那模型就不在范围内,你只测他们自己套在外面的那层。如果他们自托管、做过微调、或者围绕模型写了真正的业务逻辑,那部分就是他们的,在范围内。合同说了算,所以要跟客户确认。

选一下他们是怎么搭的,图会告诉你哪些在范围内:

在范围内,要测 不在范围内,厂商的 这里没用到
你(测试者)
发提示词,盯流量
开着 Burp / 开发者工具
先问:用了什么模型?工具?数据?
客户应用
他们围绕模型搭的东西
前端(浏览器)
后端 / 集成配置
系统提示词与规则
输入 / 输出处理
RAG / 他们的数据
工具 / 智能体
供应商 / 模型
模型实际运行的地方
第三方 API(Claude / OpenAI)
自托管(Ollama / vLLM)+ 基础设施
模型本体(基座 / 微调)