73 lines
2.7 KiB
Markdown
73 lines
2.7 KiB
Markdown
# dim3 · 长上下文（3 题 / 满分 6 分）
|
||
|
||
> 考察：跨长文检索 + 抗干扰（诱饵）能力。**题面发给模型；评分点不给。**
|
||
> 语料：运行 `python evals/assets/gen_longctx.py --write` 生成 `evals/assets/longctx-corpus.md`。
|
||
> **实测参数**：51,483 字符 / 153KB；针位于 6.1% / 50.1% / 92.1%，诱饵位于 15.2% / 20.3% / 35.3%（已校验）。
|
||
> 运行协议：先把语料全文给模型（一次性），再逐题提问；允许模型自行检索。
|
||
|
||
---
|
||
|
||
## 语料构成（生成器内置）
|
||
|
||
- 填充段落：确定性重复，无信息量
|
||
- **针 1**（约 6% 位置）：XN-7742 灰度窗口 = 每周三 02:00–04:00（UTC+8）
|
||
- **诱饵 1**（约 20%）：早期排期曾计划周四 01:00，**已取消**
|
||
- **针 2**（约 50% 位置）：缓存 TTL 初版 900 秒 → 事故复盘后**改为 300 秒**
|
||
- **诱饵 2**（约 35%）：CDN 静态资源 TTL 86400 秒（**不受调整影响**）
|
||
- **针 3**（约 92% 位置）：原「北极星指标」更名 **NSM-7**，定义 = 周活跃答题用户的次日留存率
|
||
- **诱饵 3**（约 15%）：旧报表中的 NSM-3 = 七日留存率，**与 NSM-7 无关**
|
||
|
||
---
|
||
|
||
## Q3.1 · 部署窗口（2 分）
|
||
|
||
### 给模型的题面
|
||
```text
|
||
根据这份文档：代号 XN-7742 的灰度发布窗口是什么？（注明星期与时间段）
|
||
另外说明：该窗口是否曾被调整过？如有，原计划是什么？
|
||
```
|
||
|
||
### 评分点（勿发给被测模型）
|
||
| # | 判据 | 分值 |
|
||
|---|---|---|
|
||
| 1 | 回答「周三 02:00–04:00（UTC+8）」 | 1 |
|
||
| 2 | 指出曾有周四 01:00 的旧计划且已取消（未与现状混淆） | 1 |
|
||
|
||
---
|
||
|
||
## Q3.2 · 缓存 TTL（2 分）
|
||
|
||
### 给模型的题面
|
||
```text
|
||
根据这份文档：当前缓存 TTL 是多少秒？它经历过什么变化？
|
||
文档中出现的其他 TTL 数字分别属于什么，是否受本次调整影响？
|
||
```
|
||
|
||
### 评分点（勿发给被测模型）
|
||
| # | 判据 | 分值 |
|
||
|---|---|---|
|
||
| 1 | 当前 300 秒 + 曾为 900 秒（变化叙述正确） | 1 |
|
||
| 2 | 指出 86400 秒属于 CDN 静态资源且不受影响（诱饵识别） | 1 |
|
||
|
||
---
|
||
|
||
## Q3.3 · 指标更名（2 分）
|
||
|
||
### 给模型的题面
|
||
```text
|
||
根据这份文档：NSM-7 指什么？它的定义是否发生过变化（更名前后的定义关系）？
|
||
文档中另一个 NSM 编号是什么，和它是什么关系？
|
||
```
|
||
|
||
### 评分点（勿发给被测模型）
|
||
| # | 判据 | 分值 |
|
||
|---|---|---|
|
||
| 1 | NSM-7 = 周活跃答题用户的次日留存率；仅更名、定义未变 | 1 |
|
||
| 2 | NSM-3 = 七日留存率，明确与 NSM-7 无关（不混淆） | 1 |
|
||
|
||
---
|
||
|
||
## 自动判分辅助
|
||
|
||
runner 可先做关键词检测（如 `周三`/`300`/`次日留存`），命中后再人工确认语义正确；**防止模型碰巧写出数字但语义错误**。
|