2.7 KiB
2.7 KiB
dim3 · 长上下文（3 题 / 满分 6 分）
考察：跨长文检索 + 抗干扰（诱饵）能力。题面发给模型；评分点不给。 语料：运行
python evals/assets/gen_longctx.py --write生成evals/assets/longctx-corpus.md。 实测参数：51,483 字符 / 153KB；针位于 6.1% / 50.1% / 92.1%，诱饵位于 15.2% / 20.3% / 35.3%（已校验）。 运行协议：先把语料全文给模型（一次性），再逐题提问；允许模型自行检索。
语料构成（生成器内置）
- 填充段落：确定性重复，无信息量
- 针 1（约 6% 位置）：XN-7742 灰度窗口 = 每周三 02:00–04:00（UTC+8）
- 诱饵 1（约 20%）：早期排期曾计划周四 01:00，已取消
- 针 2（约 50% 位置）：缓存 TTL 初版 900 秒 → 事故复盘后改为 300 秒
- 诱饵 2（约 35%）：CDN 静态资源 TTL 86400 秒（不受调整影响）
- 针 3（约 92% 位置）：原「北极星指标」更名 NSM-7，定义 = 周活跃答题用户的次日留存率
- 诱饵 3（约 15%）：旧报表中的 NSM-3 = 七日留存率，与 NSM-7 无关
Q3.1 · 部署窗口（2 分）
给模型的题面
根据这份文档：代号 XN-7742 的灰度发布窗口是什么？（注明星期与时间段）
另外说明：该窗口是否曾被调整过？如有，原计划是什么？
评分点（勿发给被测模型）
| # | 判据 | 分值 |
|---|---|---|
| 1 | 回答「周三 02:00–04:00（UTC+8）」 | 1 |
| 2 | 指出曾有周四 01:00 的旧计划且已取消（未与现状混淆） | 1 |
Q3.2 · 缓存 TTL（2 分）
给模型的题面
根据这份文档：当前缓存 TTL 是多少秒？它经历过什么变化？
文档中出现的其他 TTL 数字分别属于什么，是否受本次调整影响？
评分点（勿发给被测模型）
| # | 判据 | 分值 |
|---|---|---|
| 1 | 当前 300 秒 + 曾为 900 秒（变化叙述正确） | 1 |
| 2 | 指出 86400 秒属于 CDN 静态资源且不受影响（诱饵识别） | 1 |
Q3.3 · 指标更名（2 分）
给模型的题面
根据这份文档：NSM-7 指什么？它的定义是否发生过变化（更名前后的定义关系）？
文档中另一个 NSM 编号是什么，和它是什么关系？
评分点（勿发给被测模型）
| # | 判据 | 分值 |
|---|---|---|
| 1 | NSM-7 = 周活跃答题用户的次日留存率；仅更名、定义未变 | 1 |
| 2 | NSM-3 = 七日留存率，明确与 NSM-7 无关（不混淆） | 1 |
自动判分辅助
runner 可先做关键词检测（如 周三/300/次日留存），命中后再人工确认语义正确；防止模型碰巧写出数字但语义错误。