weft evidence — 意图驱动平台 PoC 的可复现证据包

本仓库为 weft-audit 的底层安全与 治理引擎 PoC 主张提供可复现证据；它是证据层，不替代项目主页。

核心指标	数据
实验消耗	42.8 亿 Token（近 30 天；其中近 7 天 28.9 亿，窗口至 10-19）
治理插件	6 个已上线（独立审计 9–10/10）
A/B 评测	编排组 0.97 vs 裸跑 0.02
稳定性提升	评分方差 std 1.174 → 0.366
事故闭环	5 篇带日志的排障复盘

The future of software isn't about syntax; it's about Intent and Governance.

2026-10-19 实录：治理层六件套（哨兵/完成否定/判断技能/账本/断点/评分官） 核心链路 3 小时 10 分钟（23:39→02:52）移植进 DSH 0.2.1-rc.2 并全自动发布五仓； 期间发现并修复一个官方静默禁用缺陷（官方仓库 Discussion #10203）。 全程记录：DSH 多 Agent 拓扑迁移实战记录 ｜ 最终报告 ｜ 极客简报

同一模型，20 条真实任务：

组	配置	得分
A	多 Agent 编排（三层审计 + 心跳遥测）	0.97 ~ 1.00
B	裸模型，无工具	0.02 ~ 0.07

模型没有变，变的是编排。评分 rubric 原文、脚本、历次报告全在本仓库， python regression.py 一键复跑。

复跑前需从环境中提供本机 AgentScope 配置，不在仓库保存任何 ID 或凭据：

AGENTSCOPE_BASE
AGENTSCOPE_DOER_AGENT
AGENTSCOPE_CONTROL_AGENT
AGENTSCOPE_AUDITOR_AGENT
AGENTSCOPE_AUDITOR_SESSION
AGENTSCOPE_DEEPSEEK_CREDENTIAL_ID
JARVIS_EVAL_DIR

与生态内现有方案的区别（据对方 README 核实，2026-10-19）

方案	它们做的	我们的差异
dsh-tower（多 Agent 编排，worktree 隔离）	提交前的审查/合并门禁	我们是运行时逐事件拦截：每一步都过闸，不是合并前一次性审
dsh-codex-ultra-mode（动态子智能体编排）	任务开始后的动态分解与回收	我们多一层入口守门人：闲聊态零工具，工作意图必须显式确认才拉起系统
各类插件族	能力扩展	我们做的是治理层（车间主任），不是更多螺丝刀

可观测性说明（诚实标注）

当前遥测为自定义格式（心跳计数器 + JSONL 事件日志），尚未对齐 OpenTelemetry GenAI 语义；迁移到 OTel（span 树、可被 Langfuse/Jaeger 消费） 为明确目标，未完成前不宣称「可观测性对齐行业标准」。日志不含任何密钥明文， 脱敏扫描在案。

裁判可靠性校准（Ground Truth）

「0.97 vs 0.02」是单裁判结果；按评测工程标准，裁判自身必须先校准。 5 条人工标注集已完成（校准集）： 所有者判定 vs 三眼定分评分官判定，一致率 4/5（80%，n=5）。 唯一分歧为「诚实否定语境」题——评分表对无产出如实报告缺专用判据， 已定修法（不追溯改分），补测后更新。

守门人机制（2026-10-19 全链实测完成）

状态机（闲聊锁死 → 意图识别 → 反问确认 → 拉起多 Agent → 收工锁回）：

用户输入 → 意图识别
   ├─ 非工作意图 → 闲聊应答（零工具）
   └─ 工作意图 → 反问「要拉起系统吗？」→ 确认后才拉起
                        办事者执行 → 微小审计盯主体 → 审计者复查 → 记忆管家记账

桌面端六插件已在生产记账（账本真实条目，脱敏摘录）：

{"ts":"2026-10-18T22:39:30.877Z","session":"session-a17d…","provider":"unknown","model":"unknown","prompt_tokens":0,"completion_tokens":0}

诚实边界：账本已在桌面端生产环境落盘三条事件，但 provider/model 解析为 unknown、token 为 0——字段映射待补，已知边界在案。2026-10-21 又完成了 一次经所有者确认的线上单入口实跑：自然语言任务 → 目标编译器 READY → 多 Agent 工作链 → 独立审计；脱敏记录见 单入口实跑记录。 这次只证明一条简单只读任务可跑通，不等同于任意复杂任务、写操作或长期稳定性 已经通过。

自我纠错实录

我们公开承认并登记自己的失误（踩坑 #41–#48）：归因跳步、调用撒手、单角度 结论、状态卡漏同步、发布脚本细节错、以及一次「差点编造账本摘录」——提交前 被自审拦下并改读真账。自审机制拦住幻觉的这一次，比任何完美数据都更能说明 「意图驱动 + 审计闭环」真实生效。

四大铁律

1. 防自噬：代码层不可变，能力层可扩展（Skill/插件经测试挂载）。
   来源：Agent 改自身代码导致脑死亡的真实事故。
2. 三层审计：小审计双清单（硬命中即暂停，软项只建议）；
   大审计 0-10 裁决；审计器只读，人类终裁。
3. 五分钟遥测：心跳轻唤醒，物理静默；白班交互校准，夜班自动跑批。
4. 意图触发（设计稿）：对话者与办事系统物理隔离；
   闲聊唤醒不了任何工具，开工必须显式确认。

事故复盘（五篇，全部挂证据等级）

• 42 分钟全线连环崩溃（时间线全来自日志）
• 自噬脑死亡
• 并发写冲突
• OOM 强杀
• VPN 断联

插件

• dsh-guardrail — 双清单护栏，15 例测试全 PASS，Windows/Linux 双规则集。

其它

• metrics.md — 量化账本，每行挂口径
• 评估方法-20261018.md — rubric 原文与已知局限
• dialogist.md — 对话者机制
• docs/architecture.md — 架构图（审计环/四层记忆/防自噬）
• docs/reports/2026-10-21-live-intent-entry.md — 单入口实跑的可核验边界
• docs/faq.md — 常见质问与回答
• docs/roadmap.md — 公开路线图

诚实规则

本仓库只放能复现的东西。面板实录与机记切片分列标注，不混； 所有者口述一律标【口述】；无证据不算完成。