# Jue:面向网络安全的校准决策模型 技术报告,2026 年 10 月。模型:[Jue1Dev/jue](https://huggingface.co/Jue1Dev/jue)(25 亿参数)和 [Jue1Dev/jue-flash](https://huggingface.co/Jue1Dev/jue-flash)(3.5 亿参数)。项目主页:[jue1.dev](https://jue1.dev)。 ## 摘要 安全运营中有相当一部分工作,是针对某个具体对象回答封闭式问题:这棵进程树是否恶意,这条命令行对应哪个 ATT&CK 技术,这条 IAM 策略是否放行该请求,这个依赖是否受某条安全公告影响。生成式模型用一段文字作答,流水线得先解析才能用,也拿不到可以设阈值的数值。Jue 的做法是直接给每个选项一个概率:输入一个状态(告警、日志、策略、CVE 描述或一次工具调用)和一组带类型的问题,一次前向计算就给出所有问题的答案。本次发布两个模型。Jue 以 MiniCPM5-2B 为底座,加一个 LoRA adapter,共 25 亿参数;Jue-Flash 是 3.5 亿参数的双向编码器,外加一个决策头。Jue 在 SecQA v1 上得分 .973,VulDetectBench task 1 为 .921,CyberMetric-10000 为 .735,CTIBench RCM 为 .723;在考察"该不该调用工具"的 BFCL-v4 irrelevance 和 When2Call 上,分别为 .863 和 .836。在 131 个外部任务的相同题目上对比,Jue-Flash 有 14 个任务高于 Jue。发布的 Jue 在最后一轮训练前定下的八条发布标准中只达到了三条。本文介绍两个模型和评测方法,并专门用一节讲它们在哪些地方会出错。 ## 1. 引言 检测工程师和 SOC 分析师每天要做很多小判断,其中大部分只有少数几个可选答案。要把这些判断自动化,流水线需要能直接拿来分流的数值,比如失陷概率在 0.3 到 0.8 之间就转人工复核,提示注入概率超过 0.9 就拦下这次工具调用。自由文本形式的回答很难这样用。 Jev 系列决策模型把每个这样的判断表述成关于某个状态的带类型问题,并给出校准过的概率。Jue 沿用这套接口,但换成了开放权重的小模型,一张显卡或一台笔记本就能跑,领域上专注网络安全:安全运营与检测、威胁情报、漏洞管理、云与身份安全、DevSecOps、合规,以及会调用工具的 AI 智能体的护栏。 这个项目一开始的目标是另一件事:在代码仓库里逐步游走,找出深层的逻辑缺陷。这个方向迟迟没有进展(见第 6 节),我们才转向安全决策。整个过程中,每一次训练改动都在运行前登记主指标、我们认为值得追求的最小效应,以及不允许退步的检查项;每个结果都按配对比较、附 bootstrap 区间来解读;改动没有达标,就如实记为没有达标。 ## 2. 接口 一个请求由一个状态和最多 256 个问题组成。问题分三种类型: - Choice:从若干带简短说明的具名选项中选一个。 - Noul:判断一个命题是否成立。 - Score:在序数尺度上给出一个档位,例如从"提示"到"严重"。 响应里包含每个问题每个选项的概率。请求和响应遵循 Jev 的 `POST /v1/systemone` 协议,现有的 Jev 客户端不用改就能调用这两个模型。下面是一个简化的例子: ```json { "state": { "policy": {"Statement": [ {"Effect": "Allow", "Action": "s3:*", "Resource": "arn:aws:s3:::finance-reports/*"}, {"Effect": "Deny", "Action": "s3:*", "Resource": "arn:aws:s3:::finance-reports/*", "Condition": {"Bool": {"aws:SecureTransport": "false"}}}]}, "request": {"action": "s3:GetObject", "context": {"aws:SecureTransport": "false"}} }, "questions": { "allowed": {"type": "noul", "instructions": "Under this identity policy, the request is allowed."}, "decisive_statement": {"type": "choice", "instructions": "Which statement decides the outcome?", "criteria": {"ALLOW_S3_ALL": "The Allow statement", "DENY_INSECURE": "The Deny on insecure transport", "IMPLICIT_DENY": "No statement matches"}} } } ``` 对这个请求,Jue 给 `allowed` 的概率是 0.11,给 `DENY_INSECURE` 的概率是 0.9965。 ## 3. 模型 ### 3.1 Jue Jue 由 MiniCPM5-2B(42 层,25.2 亿参数)和一个秩为 32 的 LoRA adapter 组成,adapter 加在所有注意力和 MLP 投影上。状态只编码一次,作为各个问题共用的前缀;每个问题是一条独立的分支,只看前缀和它自己的 token。所以回答 20 个问题只需要对状态做一次前向,每个答案也和单独提问时完全一样。答案从语言模型头读出:`Answer: (` 之后各选项代号的 logits 就是选项上的分布,再用一个全局温度(T = 1.091)校准。 训练损失是选项分布上的交叉熵,Score 题另加一项排序概率分数(RPS)。优化器用 AdamW,学习率 1e-4,余弦衰减,训练一个 epoch,在一张 RTX PRO 6000 上共 12,645 步。请求打包成最长 8,192 token 的序列,不做截断。 ### 3.2 Jue-Flash Jue-Flash 在 LiquidAI 的 LFM2.5-Encoder-350M(10 层门控短卷积、6 层双向注意力)之上加了一个决策头。决策头按问题对多个编码层做加权融合,让每个问题对状态做注意力,用选项各 token 上的后期交互(MaxSim)给选项打分,并把 Score 题的各档位耦合起来,让分布保持单峰。所有问题的所有选项在一次双向前向中打完分。校准时每种题型各用一个温度,是非题另加一个偏置。上下文长度 4,096 token,更长的状态保留开头 70% 和结尾 30%。在 Apple 芯片上预热之后,处理一个请求大约 0.1 秒。 ## 4. 评测方法 我们把外部基准转换成带类型的问题,用各基准自己的指标打分。答案取选项分布的 argmax,所以不会出现解析失败,但转换本身会改变一部分任务。例如 CTIBench RCM 从自由生成变成在列出的 CWE 里选,SWE-bench 从检索变成在若干文件里选。这类结果照常报告,但注明不能和公开榜单直接比较。 Jue 和 Jue-Flash 的对比用的是完全相同的题目:每个基准只保留两个模型都完整作答的条目,用同一个打分器评分。Jue 只在 750 题抽样上评测过的基准,对比也只在这份抽样上做。训练改动之间的差异,用按组聚类的 bootstrap 95% 区间来判断。 ## 5. 结果 ### 5.1 Jue 在外部基准上的成绩 | 基准 | Jue | 能否与公开结果对比 | |---|---|---| | SecQA v1 / v2 | .973 / .940 | 能 | | VulDetectBench task 1 / 2 | .921 / .864 | 能 | | SECURE CWET / KCV / MAET | .741 / .826 / .763 | 能 | | CyberMetric 10000 / 2000 / 500 / 80 | .735 / .753 / .760 / .812 | 能 | | CTIBench MCQ | .515 | 能 | | CTIBench RCM(CVE 到 CWE,列出选项) | .723 | 不能 | | AthenaBench rcm-open(开放 CWE,1,391 个 id) | .5515 | 能 | | CMMLU 计算机安全 | .672 | 能 | | SecBench 选择题(中文) | .814 | 不能(子集) | | BFCL-v4 irrelevance / live-irrelevance | .863 / .724 | 能 | | When2Call | .836 | 能 | | JevBench 公开题 / hard | .783 / .577 | 仅公开题 | | SecAlertBench(750 题抽样) | .433 | 不能 | Jue 表现最差的是 SecAlertBench:抽样里的 527 条良性告警,有 354 条被它判成了攻击,得分低于随机水平。 ### 5.2 Jue 与 Jue-Flash 的同题对比 | 类别 | 配对任务 | Jue-Flash 更高 | 中位差(Flash − Jue) | |---|---|---|---| | 安全 | 63 | 9 | −.178 | | 工具调用与代码 | 64 | 5 | −.326 | | JevBench 公开题 | 4 | 0 | −.247 | | 合计 | 131 | 14 | | Jue-Flash 领先的有 SecAlertBench(.637 对 .433)、CASTLE(CWE .300 对 .093)和 VulDetectBench task 2(.886 对 .864)。其中 CASTLE 和 VulDetectBench 的题型在开发 Jue-Flash 时专门做过针对,真正零样本的领先只有 SecAlertBench 一项。Jue 领先最多的几类是:需要同时选出多个选项的题(BFCL parallel-multiple .035 对 .965,SecEval 多选 .011 对 .462)、判断不该调用任何工具(BFCL irrelevance .475 对 .863)、中文题(SecBench .397 对 .814),以及超出 Jue-Flash 上下文长度的长智能体对话记录(τ-bench retail .000 对 .296)。Jue-Flash 的参数量只有 Jue 的七分之一,最适合放在 Jue 前面做快速初筛。 ### 5.3 示例 模型卡里有 15 个为这次发布专门编写的场景:EDR 进程树、Sigma 规则对照 Windows 事件、两条中文 WAF 告警、钓鱼邮件头、一段 CVE 描述、一个列入 KEV 的漏洞、一个 VEX 可达性案例、AWS IAM 策略、Kubernetes RBAC 与 Pod 安全、iptables 首条匹配、测试夹具里的密钥、一次夹带提示注入的智能体工具调用,以及 NIS2 的上报时限。展示的回答都是模型的实际输出。31 个问题中,Jue 答对 23 个,Jue-Flash 答对 17 个。Jue 答错的例子有:把钓鱼邮件判成了垃圾邮件;NIS2 早期预警的时限答成 72 小时,正确答案是 24 小时;iptables 那题找对了起作用的规则,最后的放行结论却判错了。 ### 5.4 校准 在和训练时见过的题型相近的问题上,Jue 校准得不错,Choice、Noul、Score 的 ECE 分别是 .019、.015 和 .031。到了外部基准上,它偏欠自信,置信度比准确率低 .057 到 .068。我们试过在熟悉题型上重新拟合温度,结果更差;在基准上拟合又等于拿测试集调参,所以保留了现有的校准。在不熟悉的题型上,可以把它给出的概率看作偏保守的估计。 ## 6. 局限与负面结果 最后一轮训练和它之前的模型做对比,标准是事先定好的,八条中达到三条,没达到五条: - 过度弃权。AthenaBench rcm-open 中候选列表里确实有正确 CWE 的题目,Jue 有 28% 回答"以上都不是",之前只有 4.3%。给"以上都不是"加一个负偏置能把比例压下来,但正确答案真不在列表里时,召回率会减半。 - 两项退步:Windows 安全描述符(SDDL)的访问检查,以及必须先完成的前置 API 调用(比如要先做的认证调用)。 - 在外部基准上欠自信,见 5.4 节。 - 规则执行。需要把一条规则完整求值的是非题(可达性、权限、依赖解析、合并资格)有所改善,但 17 个困难子任务里只有 3 个显著提升,和同一状态上的选择题相比仍有明显差距。 我们还检验过:改从中间层读出,而不只用最后一层,能不能缩小规则执行上的差距。在六个深度上训练的线性探针,最好的是第 36 层的 .536,和模型本身的读出(.536)持平;中间层带来的最大增益只有 +.0004,事先登记的门槛是 .026。更早的层里并没有最后一层缺少的信息,所以跨层读出对这个模型没有帮助。在几乎相同的样例之间加一致性损失,也没有测到收益(+.003,门槛 +.03)。 最初的代码方向没有做成。仓库级的代码游走在继续训练后不再改善;一项重复训练实验还表明,这个基准太小,测不出现实大小的效应。深层逻辑缺陷的定位既没有做到,也没走到能测量的那一步。 ## 7. 适用范围与限制 Jue 适合用来排序、分流和预填判断,最后由人或确定性的检查器确认,比如研判队列、告警富化、检测规则检查、CVE 到 CWE 的映射、策略与配置问题,以及智能体循环里的护栏。不要让它单独拦截或执行操作,也不要用它出法律意见;答案不在状态里的问题它也答不了,比如某个 CVE 将来会不会被利用。CVSS 分值计算和分析师研判分级这两类问题,它的预测基本停在多数类附近,这些场合请改用计算器或别的依据。它学到的是公开规范的语义,和你所在组织自己的策略未必一致;一次错误的"允许"可能掩盖真实存在的暴露面。 两个模型都只面向防御用途,训练时没有教它们写漏洞利用、攻击载荷、规避检测的手法或钓鱼内容。 ## 8. 发布 | | Jue | Jue-Flash | |---|---|---| | 仓库 | huggingface.co/Jue1Dev/jue | huggingface.co/Jue1Dev/jue-flash | | 内容 | LoRA adapter、校准文件、推理服务、示例 | 编码器与决策头权重、校准文件、推理服务、示例 | | 底座模型 | openbmb/MiniCPM5-2B(Apache-2.0,不随附) | LiquidAI/LFM2.5-Encoder-350M | | 许可 | Apache-2.0 | LFM Open License v1.0;推理代码 Apache-2.0 | ## 引用 ```bibtex @misc{jue2026, title = {Jue: Calibrated Decision Models for Cybersecurity}, author = {{Jue1Dev}}, year = {2026}, note = {Technical report}, url = {https://huggingface.co/Jue1Dev/jue} } ```