Instructions to use Jue1Dev/jue with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use Jue1Dev/jue with PEFT:
Task type is invalid.
- Notebooks
- Google Colab
- Kaggle
Download TECHNICAL_REPORT_zh.md from Jue1Dev/jue: direct link, hf CLI and curl.
- Browser
- Download file 12.8 kB
-
https://huggingface.co/Jue1Dev/jue/resolve/main/TECHNICAL_REPORT_zh.md
- Command line
-
hf download hf://Jue1Dev/jue/TECHNICAL_REPORT_zh.md
-
curl -L -o TECHNICAL_REPORT_zh.md https://huggingface.co/Jue1Dev/jue/resolve/main/TECHNICAL_REPORT_zh.md
Jue:面向网络安全的校准决策模型
技术报告,2026 年 10 月。模型:Jue1Dev/jue(25 亿参数)和 Jue1Dev/jue-flash(3.5 亿参数)。项目主页:jue1.dev。
摘要
安全运营中有相当一部分工作,是针对某个具体对象回答封闭式问题:这棵进程树是否恶意,这条命令行对应哪个 ATT&CK 技术,这条 IAM 策略是否放行该请求,这个依赖是否受某条安全公告影响。生成式模型用一段文字作答,流水线得先解析才能用,也拿不到可以设阈值的数值。Jue 的做法是直接给每个选项一个概率:输入一个状态(告警、日志、策略、CVE 描述或一次工具调用)和一组带类型的问题,一次前向计算就给出所有问题的答案。本次发布两个模型。Jue 以 MiniCPM5-2B 为底座,加一个 LoRA adapter,共 25 亿参数;Jue-Flash 是 3.5 亿参数的双向编码器,外加一个决策头。Jue 在 SecQA v1 上得分 .973,VulDetectBench task 1 为 .921,CyberMetric-10000 为 .735,CTIBench RCM 为 .723;在考察"该不该调用工具"的 BFCL-v4 irrelevance 和 When2Call 上,分别为 .863 和 .836。在 131 个外部任务的相同题目上对比,Jue-Flash 有 14 个任务高于 Jue。发布的 Jue 在最后一轮训练前定下的八条发布标准中只达到了三条。本文介绍两个模型和评测方法,并专门用一节讲它们在哪些地方会出错。
1. 引言
检测工程师和 SOC 分析师每天要做很多小判断,其中大部分只有少数几个可选答案。要把这些判断自动化,流水线需要能直接拿来分流的数值,比如失陷概率在 0.3 到 0.8 之间就转人工复核,提示注入概率超过 0.9 就拦下这次工具调用。自由文本形式的回答很难这样用。
Jev 系列决策模型把每个这样的判断表述成关于某个状态的带类型问题,并给出校准过的概率。Jue 沿用这套接口,但换成了开放权重的小模型,一张显卡或一台笔记本就能跑,领域上专注网络安全:安全运营与检测、威胁情报、漏洞管理、云与身份安全、DevSecOps、合规,以及会调用工具的 AI 智能体的护栏。
这个项目一开始的目标是另一件事:在代码仓库里逐步游走,找出深层的逻辑缺陷。这个方向迟迟没有进展(见第 6 节),我们才转向安全决策。整个过程中,每一次训练改动都在运行前登记主指标、我们认为值得追求的最小效应,以及不允许退步的检查项;每个结果都按配对比较、附 bootstrap 区间来解读;改动没有达标,就如实记为没有达标。
2. 接口
一个请求由一个状态和最多 256 个问题组成。问题分三种类型:
- Choice:从若干带简短说明的具名选项中选一个。
- Noul:判断一个命题是否成立。
- Score:在序数尺度上给出一个档位,例如从"提示"到"严重"。
响应里包含每个问题每个选项的概率。请求和响应遵循 Jev 的 POST /v1/systemone 协议,现有的 Jev 客户端不用改就能调用这两个模型。下面是一个简化的例子:
{
"state": {
"policy": {"Statement": [
{"Effect": "Allow", "Action": "s3:*", "Resource": "arn:aws:s3:::finance-reports/*"},
{"Effect": "Deny", "Action": "s3:*", "Resource": "arn:aws:s3:::finance-reports/*",
"Condition": {"Bool": {"aws:SecureTransport": "false"}}}]},
"request": {"action": "s3:GetObject", "context": {"aws:SecureTransport": "false"}}
},
"questions": {
"allowed": {"type": "noul", "instructions": "Under this identity policy, the request is allowed."},
"decisive_statement": {"type": "choice", "instructions": "Which statement decides the outcome?",
"criteria": {"ALLOW_S3_ALL": "The Allow statement", "DENY_INSECURE": "The Deny on insecure transport",
"IMPLICIT_DENY": "No statement matches"}}
}
}
对这个请求,Jue 给 allowed 的概率是 0.11,给 DENY_INSECURE 的概率是 0.9965。
3. 模型
3.1 Jue
Jue 由 MiniCPM5-2B(42 层,25.2 亿参数)和一个秩为 32 的 LoRA adapter 组成,adapter 加在所有注意力和 MLP 投影上。状态只编码一次,作为各个问题共用的前缀;每个问题是一条独立的分支,只看前缀和它自己的 token。所以回答 20 个问题只需要对状态做一次前向,每个答案也和单独提问时完全一样。答案从语言模型头读出:Answer: ( 之后各选项代号的 logits 就是选项上的分布,再用一个全局温度(T = 1.091)校准。
训练损失是选项分布上的交叉熵,Score 题另加一项排序概率分数(RPS)。优化器用 AdamW,学习率 1e-4,余弦衰减,训练一个 epoch,在一张 RTX PRO 6000 上共 12,645 步。请求打包成最长 8,192 token 的序列,不做截断。
3.2 Jue-Flash
Jue-Flash 在 LiquidAI 的 LFM2.5-Encoder-350M(10 层门控短卷积、6 层双向注意力)之上加了一个决策头。决策头按问题对多个编码层做加权融合,让每个问题对状态做注意力,用选项各 token 上的后期交互(MaxSim)给选项打分,并把 Score 题的各档位耦合起来,让分布保持单峰。所有问题的所有选项在一次双向前向中打完分。校准时每种题型各用一个温度,是非题另加一个偏置。上下文长度 4,096 token,更长的状态保留开头 70% 和结尾 30%。在 Apple 芯片上预热之后,处理一个请求大约 0.1 秒。
4. 评测方法
我们把外部基准转换成带类型的问题,用各基准自己的指标打分。答案取选项分布的 argmax,所以不会出现解析失败,但转换本身会改变一部分任务。例如 CTIBench RCM 从自由生成变成在列出的 CWE 里选,SWE-bench 从检索变成在若干文件里选。这类结果照常报告,但注明不能和公开榜单直接比较。
Jue 和 Jue-Flash 的对比用的是完全相同的题目:每个基准只保留两个模型都完整作答的条目,用同一个打分器评分。Jue 只在 750 题抽样上评测过的基准,对比也只在这份抽样上做。训练改动之间的差异,用按组聚类的 bootstrap 95% 区间来判断。
5. 结果
5.1 Jue 在外部基准上的成绩
| 基准 | Jue | 能否与公开结果对比 |
|---|---|---|
| SecQA v1 / v2 | .973 / .940 | 能 |
| VulDetectBench task 1 / 2 | .921 / .864 | 能 |
| SECURE CWET / KCV / MAET | .741 / .826 / .763 | 能 |
| CyberMetric 10000 / 2000 / 500 / 80 | .735 / .753 / .760 / .812 | 能 |
| CTIBench MCQ | .515 | 能 |
| CTIBench RCM(CVE 到 CWE,列出选项) | .723 | 不能 |
| AthenaBench rcm-open(开放 CWE,1,391 个 id) | .5515 | 能 |
| CMMLU 计算机安全 | .672 | 能 |
| SecBench 选择题(中文) | .814 | 不能(子集) |
| BFCL-v4 irrelevance / live-irrelevance | .863 / .724 | 能 |
| When2Call | .836 | 能 |
| JevBench 公开题 / hard | .783 / .577 | 仅公开题 |
| SecAlertBench(750 题抽样) | .433 | 不能 |
Jue 表现最差的是 SecAlertBench:抽样里的 527 条良性告警,有 354 条被它判成了攻击,得分低于随机水平。
5.2 Jue 与 Jue-Flash 的同题对比
| 类别 | 配对任务 | Jue-Flash 更高 | 中位差(Flash − Jue) |
|---|---|---|---|
| 安全 | 63 | 9 | −.178 |
| 工具调用与代码 | 64 | 5 | −.326 |
| JevBench 公开题 | 4 | 0 | −.247 |
| 合计 | 131 | 14 |
Jue-Flash 领先的有 SecAlertBench(.637 对 .433)、CASTLE(CWE .300 对 .093)和 VulDetectBench task 2(.886 对 .864)。其中 CASTLE 和 VulDetectBench 的题型在开发 Jue-Flash 时专门做过针对,真正零样本的领先只有 SecAlertBench 一项。Jue 领先最多的几类是:需要同时选出多个选项的题(BFCL parallel-multiple .035 对 .965,SecEval 多选 .011 对 .462)、判断不该调用任何工具(BFCL irrelevance .475 对 .863)、中文题(SecBench .397 对 .814),以及超出 Jue-Flash 上下文长度的长智能体对话记录(τ-bench retail .000 对 .296)。Jue-Flash 的参数量只有 Jue 的七分之一,最适合放在 Jue 前面做快速初筛。
5.3 示例
模型卡里有 15 个为这次发布专门编写的场景:EDR 进程树、Sigma 规则对照 Windows 事件、两条中文 WAF 告警、钓鱼邮件头、一段 CVE 描述、一个列入 KEV 的漏洞、一个 VEX 可达性案例、AWS IAM 策略、Kubernetes RBAC 与 Pod 安全、iptables 首条匹配、测试夹具里的密钥、一次夹带提示注入的智能体工具调用,以及 NIS2 的上报时限。展示的回答都是模型的实际输出。31 个问题中,Jue 答对 23 个,Jue-Flash 答对 17 个。Jue 答错的例子有:把钓鱼邮件判成了垃圾邮件;NIS2 早期预警的时限答成 72 小时,正确答案是 24 小时;iptables 那题找对了起作用的规则,最后的放行结论却判错了。
5.4 校准
在和训练时见过的题型相近的问题上,Jue 校准得不错,Choice、Noul、Score 的 ECE 分别是 .019、.015 和 .031。到了外部基准上,它偏欠自信,置信度比准确率低 .057 到 .068。我们试过在熟悉题型上重新拟合温度,结果更差;在基准上拟合又等于拿测试集调参,所以保留了现有的校准。在不熟悉的题型上,可以把它给出的概率看作偏保守的估计。
6. 局限与负面结果
最后一轮训练和它之前的模型做对比,标准是事先定好的,八条中达到三条,没达到五条:
- 过度弃权。AthenaBench rcm-open 中候选列表里确实有正确 CWE 的题目,Jue 有 28% 回答"以上都不是",之前只有 4.3%。给"以上都不是"加一个负偏置能把比例压下来,但正确答案真不在列表里时,召回率会减半。
- 两项退步:Windows 安全描述符(SDDL)的访问检查,以及必须先完成的前置 API 调用(比如要先做的认证调用)。
- 在外部基准上欠自信,见 5.4 节。
- 规则执行。需要把一条规则完整求值的是非题(可达性、权限、依赖解析、合并资格)有所改善,但 17 个困难子任务里只有 3 个显著提升,和同一状态上的选择题相比仍有明显差距。
我们还检验过:改从中间层读出,而不只用最后一层,能不能缩小规则执行上的差距。在六个深度上训练的线性探针,最好的是第 36 层的 .536,和模型本身的读出(.536)持平;中间层带来的最大增益只有 +.0004,事先登记的门槛是 .026。更早的层里并没有最后一层缺少的信息,所以跨层读出对这个模型没有帮助。在几乎相同的样例之间加一致性损失,也没有测到收益(+.003,门槛 +.03)。
最初的代码方向没有做成。仓库级的代码游走在继续训练后不再改善;一项重复训练实验还表明,这个基准太小,测不出现实大小的效应。深层逻辑缺陷的定位既没有做到,也没走到能测量的那一步。
7. 适用范围与限制
Jue 适合用来排序、分流和预填判断,最后由人或确定性的检查器确认,比如研判队列、告警富化、检测规则检查、CVE 到 CWE 的映射、策略与配置问题,以及智能体循环里的护栏。不要让它单独拦截或执行操作,也不要用它出法律意见;答案不在状态里的问题它也答不了,比如某个 CVE 将来会不会被利用。CVSS 分值计算和分析师研判分级这两类问题,它的预测基本停在多数类附近,这些场合请改用计算器或别的依据。它学到的是公开规范的语义,和你所在组织自己的策略未必一致;一次错误的"允许"可能掩盖真实存在的暴露面。
两个模型都只面向防御用途,训练时没有教它们写漏洞利用、攻击载荷、规避检测的手法或钓鱼内容。
8. 发布
| Jue | Jue-Flash | |
|---|---|---|
| 仓库 | huggingface.co/Jue1Dev/jue | huggingface.co/Jue1Dev/jue-flash |
| 内容 | LoRA adapter、校准文件、推理服务、示例 | 编码器与决策头权重、校准文件、推理服务、示例 |
| 底座模型 | openbmb/MiniCPM5-2B(Apache-2.0,不随附) | LiquidAI/LFM2.5-Encoder-350M |
| 许可 | Apache-2.0 | LFM Open License v1.0;推理代码 Apache-2.0 |
引用
@misc{jue2026,
title = {Jue: Calibrated Decision Models for Cybersecurity},
author = {{Jue1Dev}},
year = {2026},
note = {Technical report},
url = {https://huggingface.co/Jue1Dev/jue}
}