feat(M4): S-02部署基线复核+I-02本仓CI与备份演练+储备评审;M3遗留C-03/S-01/C-04证据补齐;12项PROGRESS归属+collect解析修复
vscode-planning-ci / planning-smoke (push) Failing after 1m31s
vscode-planning-ci / planning-smoke (push) Failing after 1m31s
This commit is contained in:
+43
-41
@@ -1,41 +1,43 @@
|
||||
# PROGRESS_I-01 · 模型能力自动探测(每晚,只报告不写配置)
|
||||
|
||||
> 日期 2026-09-13/14 · 范围:只改 `dsh` 目录(新建 `tools/probe_models.py` + 报告目录)
|
||||
|
||||
## 现状 vs 差距(接手时)
|
||||
- 已有:2026-09-06 手动探测结论(DSH模型能力测试报告.md:b/glm-5.3-flash 与 b/qwen3.8-flash
|
||||
思考✅视觉✅)+ `~/.dsh/model-probe-last.json` 单次快照 + settings.yaml 能力声明注释。
|
||||
- 缺口:无自动巡检;无 diff 告警;手动一次即忘,漂移无人知。
|
||||
|
||||
## 改动(全部在 `C:/Users/12914/Desktop/dsh/` 内)
|
||||
1. `tools/probe_models.py`(新建,单文件,标准库 + urllib,无 httpx 依赖):
|
||||
- 只读 `~/.dsh/settings.yaml`(全脚本两个打开点,均为 `mode='r'`;`--check-readonly` 自证无写入路径);
|
||||
无 PyYAML 时降级为最小缩进解析(provider/api/apiKeyEnv/baseURL/models/input/compat/reasoningEfforts)。
|
||||
- 枚举 10 分组 23 模型;三组探测:基线(最小对话 200+非空)/ 思考(按 thinkingFormat 发
|
||||
enable_thinking+reasoning_effort,验 reasoning 字段 + 推理题答案 6)/ 视觉(内嵌 64px 纯红 PNG 问主色)。
|
||||
- openai-responses(ginka)与 openai-completions 双协议;超时 30s/请求;单模型异常全部捕获,
|
||||
失败隔离不中断全量;无 key 分组标记 skip(不判 fail);报告不打印 key。
|
||||
2. 产出:`tools/probe-reports/probe-YYYY-MM-DD.json`(机读:verdict/diff)+
|
||||
同名 `.md`(人读:表格 + 与上次 diff + 失败明细 + 配置建议)。
|
||||
告警方向:报告首行——能力变化列 diff,无变化/失败数异常即标红。
|
||||
3. 运行:`--all` 全量 / `--provider b` 单组 / `--all --compare` 对比打印;
|
||||
Windows 计划任务示例(每晚 02:00 schtasks)写进脚本 docstring。
|
||||
|
||||
## 验证
|
||||
```bash
|
||||
python tools/probe_models.py --check-readonly
|
||||
# readonly-check: PASS(settings 打开点仅 mode='r',无写入路径)
|
||||
python tools/probe_models.py --all
|
||||
# 报告:tools/probe-reports/probe-2026-09-14.json + .md
|
||||
# 总 23 · 通过 0 · 失败 0 · 全跳过 23(本 shell 无 provider key,全部 skip: 无 key——预期内,
|
||||
# key 在 DSH 进程环境;DSH 宿主机/计划任务环境下有 key 即实测)
|
||||
链路自验证(本地 OpenAI 兼容桩 127.0.0.1:18731):
|
||||
# baseline True / thinking True / vision True / 无-reasoning判fail / 未声明判skip / 不可达判fail(2s超时)
|
||||
# PROBE CHAIN ALL GREEN
|
||||
```
|
||||
对照 09-06 手动结论:b/glm-5.3-flash 与 b/qwen3.8-flash 的思考(zai + high)+ 视觉(image 声明)
|
||||
口径与脚本探测逻辑一致(同参数、同答案 6、同红色判定);有 key 环境跑出的 verdict 可直接对照。
|
||||
|
||||
## 状态
|
||||
done(最小闭环)。遗留阻塞:本 shell 无 10 个 `*_API_KEY`,全量实测 verdict 需在有 key 的环境
|
||||
(DSH 宿主机计划任务)跑一条 `--all` 即出首份非 skip 报告;`--compare` 的 diff 基线即本次报告。
|
||||
# PROGRESS — I-01 · 模型能力自动探测(每晚,只报告不写配置)
|
||||
|
||||
- 状态:done
|
||||
|
||||
> 日期 2026-09-13/14 · 范围:只改 `dsh` 目录(新建 `tools/probe_models.py` + 报告目录)
|
||||
|
||||
## 现状 vs 差距(接手时)
|
||||
- 已有:2026-09-06 手动探测结论(DSH模型能力测试报告.md:b/glm-5.3-flash 与 b/qwen3.8-flash
|
||||
思考✅视觉✅)+ `~/.dsh/model-probe-last.json` 单次快照 + settings.yaml 能力声明注释。
|
||||
- 缺口:无自动巡检;无 diff 告警;手动一次即忘,漂移无人知。
|
||||
|
||||
## 改动(全部在 `C:/Users/12914/Desktop/dsh/` 内)
|
||||
1. `tools/probe_models.py`(新建,单文件,标准库 + urllib,无 httpx 依赖):
|
||||
- 只读 `~/.dsh/settings.yaml`(全脚本两个打开点,均为 `mode='r'`;`--check-readonly` 自证无写入路径);
|
||||
无 PyYAML 时降级为最小缩进解析(provider/api/apiKeyEnv/baseURL/models/input/compat/reasoningEfforts)。
|
||||
- 枚举 10 分组 23 模型;三组探测:基线(最小对话 200+非空)/ 思考(按 thinkingFormat 发
|
||||
enable_thinking+reasoning_effort,验 reasoning 字段 + 推理题答案 6)/ 视觉(内嵌 64px 纯红 PNG 问主色)。
|
||||
- openai-responses(ginka)与 openai-completions 双协议;超时 30s/请求;单模型异常全部捕获,
|
||||
失败隔离不中断全量;无 key 分组标记 skip(不判 fail);报告不打印 key。
|
||||
2. 产出:`tools/probe-reports/probe-YYYY-MM-DD.json`(机读:verdict/diff)+
|
||||
同名 `.md`(人读:表格 + 与上次 diff + 失败明细 + 配置建议)。
|
||||
告警方向:报告首行——能力变化列 diff,无变化/失败数异常即标红。
|
||||
3. 运行:`--all` 全量 / `--provider b` 单组 / `--all --compare` 对比打印;
|
||||
Windows 计划任务示例(每晚 02:00 schtasks)写进脚本 docstring。
|
||||
|
||||
## 验证
|
||||
```bash
|
||||
python tools/probe_models.py --check-readonly
|
||||
# readonly-check: PASS(settings 打开点仅 mode='r',无写入路径)
|
||||
python tools/probe_models.py --all
|
||||
# 报告:tools/probe-reports/probe-2026-09-14.json + .md
|
||||
# 总 23 · 通过 0 · 失败 0 · 全跳过 23(本 shell 无 provider key,全部 skip: 无 key——预期内,
|
||||
# key 在 DSH 进程环境;DSH 宿主机/计划任务环境下有 key 即实测)
|
||||
链路自验证(本地 OpenAI 兼容桩 127.0.0.1:18731):
|
||||
# baseline True / thinking True / vision True / 无-reasoning判fail / 未声明判skip / 不可达判fail(2s超时)
|
||||
# PROBE CHAIN ALL GREEN
|
||||
```
|
||||
对照 09-06 手动结论:b/glm-5.3-flash 与 b/qwen3.8-flash 的思考(zai + high)+ 视觉(image 声明)
|
||||
口径与脚本探测逻辑一致(同参数、同答案 6、同红色判定);有 key 环境跑出的 verdict 可直接对照。
|
||||
|
||||
## 状态
|
||||
done(最小闭环)。遗留阻塞:本 shell 无 10 个 `*_API_KEY`,全量实测 verdict 需在有 key 的环境
|
||||
(DSH 宿主机计划任务)跑一条 `--all` 即出首份非 skip 报告;`--compare` 的 diff 基线即本次报告。
|
||||
|
||||
Reference in New Issue
Block a user