548 lines
15 KiB
Markdown
548 lines
15 KiB
Markdown
# 评估 transcript — selftest-synthetic（2026-09-12）
|
||
|
||
- 传输：`replay`
|
||
- 题目数：16
|
||
- 协议：全新会话 / 逐题单发 / 不预告下一题（见 evals/README.md）
|
||
|
||
---
|
||
|
||
## dim1-q1 · 严格 JSON（5 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
请只输出一个 JSON 对象（不要 Markdown 代码块标记，不要任何其他文字），恰好包含三个字段：
|
||
- id：整数，值为 42
|
||
- name：字符串，值为 "seagull"
|
||
- tags：字符串数组，恰好包含 3 个元素，元素自选
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
{"id": 42, "name": "seagull", "tags": ["ctf", "reverse", "automation"]}
|
||
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 整段可解析为 JSON
|
||
- [PASS] 恰好三字段 id/name/tags
|
||
- [PASS] id=42 name=seagull
|
||
- [PASS] tags 为长度 3 数组
|
||
- [PASS] 无 Markdown 包裹/多余文本
|
||
|
||
## dim1-q2 · 精确字数（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
用恰好 50 个汉字（不含标点、字母、数字、空格）写一段介绍“二分查找”的文字。
|
||
必须恰好 50 个汉字，不多不少。只输出这段文字本身。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
二分查找用于有序数组每次取中间元素比较后若目标较小则查左半区否则就继续往右半区找所以每次排除一半元素
|
||
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 汉字数=50（需恰 50）
|
||
- [INFO] 内容正确性需人工/评委确认（1 分）
|
||
|
||
## dim1-q3 · 严格行格式（4 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
根据以下三个代码改动，输出恰好 3 行 commit message，每行格式必须为：
|
||
|
||
type(scope): subject
|
||
|
||
约束：
|
||
- type 只能是 feat / fix / docs 之一
|
||
- scope 为小写字母或连字符
|
||
- subject 不超过 20 个字符
|
||
- 恰好 3 行，无空行，无编号，无其他文字
|
||
|
||
三个改动：
|
||
1. 给文章列表接口增加了按点赞数排序（新功能，模块 article）
|
||
2. 修复了签到接口重复发放金币的问题（修复，模块 user）
|
||
3. 更新了部署文档的端口说明（文档，模块 deploy）
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
feat(article): 增加点赞排序
|
||
fix(user): 修复签到重复发币
|
||
docs(deploy): 更新端口说明
|
||
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 恰好 3 行非空
|
||
- [PASS] 三行格式匹配 type(scope): subject
|
||
- [PASS] type 覆盖 feat/fix/docs 各一
|
||
- [PASS] subject 均 ≤20 字符
|
||
|
||
## dim2-q1 · Python 平均值（3 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
下面是一个工具函数，请修复它，使其满足规格：
|
||
|
||
规格：
|
||
- average([]) 返回 0.0
|
||
- average([1, 2, 3]) 返回 2.0
|
||
- 除上述外行为不变，不要修改函数签名，不要新增依赖
|
||
|
||
代码：
|
||
def average(values):
|
||
total = 0
|
||
for v in values:
|
||
total += v
|
||
return total / len(values)
|
||
|
||
只输出修复后的完整函数（可含必要的 import 行，但不含其他文字）。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
```python
|
||
def average(values):
|
||
if not values:
|
||
return 0.0
|
||
total = 0
|
||
for v in values:
|
||
total += v
|
||
return total / len(values)
|
||
```
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] average([])==0.0 且返回 float
|
||
- [PASS] average([1,2,3])==2.0 且 average([1,2])==1.5
|
||
- [INFO] 最小改动（≤4 行、签名与结构未重写）需评委确认（1 分）
|
||
|
||
## dim2-q2 · JS 求和（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
下面函数意图是返回数组所有元素之和，但存在缺陷，请修复：
|
||
|
||
规格：
|
||
- sum([1,2,3]) === 6
|
||
- sum([]) === 0
|
||
- 不得使用 reduce（项目规范要求 for 循环）
|
||
|
||
代码：
|
||
function sum(arr) {
|
||
let s = 0;
|
||
for (let i = 0; i <= arr.length; i++) {
|
||
s += arr[i];
|
||
}
|
||
return s;
|
||
}
|
||
|
||
只输出修复后的完整函数，不含其他文字。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
```javascript
|
||
function sum(arr) {
|
||
let s = 0;
|
||
for (let i = 0; i < arr.length; i++) {
|
||
s += arr[i];
|
||
}
|
||
return s;
|
||
}
|
||
```
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] sum([1,2,3])=6 且 sum([])=0
|
||
- [PASS] 未使用 reduce
|
||
|
||
## dim2-q3 · 版本号解析（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
下面函数应把版本字符串解析为 (major, minor, patch) 三元组，请修复使其满足：
|
||
|
||
规格：
|
||
- parse("v1.2.3") → (1, 2, 3)
|
||
- parse("1.2") → (1, 2, 0) ← 缺少 patch 时补 0
|
||
- parse("2") → (2, 0, 0)
|
||
- 输入含前导 v 或不含 v 都要支持
|
||
|
||
代码：
|
||
def parse(v):
|
||
parts = v.lstrip("v").split(".")
|
||
return (int(parts[0]), int(parts[1]), int(parts[2]))
|
||
|
||
只输出修复后的完整函数，不含其他文字。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
```python
|
||
def parse(v):
|
||
parts = v.lstrip("v").split(".")
|
||
while len(parts) < 3:
|
||
parts.append("0")
|
||
return (int(parts[0]), int(parts[1]), int(parts[2]))
|
||
```
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 三个规格用例全部通过
|
||
- [INFO] 简洁性（未过度工程）需人工/评委确认（1 分）
|
||
|
||
## dim3-q1 · 部署窗口（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
根据这份文档：代号 XN-7742 的灰度发布窗口是什么？（注明星期与时间段）
|
||
另外说明：该窗口是否曾被调整过？如有，原计划是什么？
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
XN-7742 的灰度发布窗口为每周三 02:00–04:00（UTC+8）。该窗口被调整过：早期排期曾计划周四 01:00 执行，后因值班人力调整已取消，现以周三窗口为准。
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 现状窗口=周三 02:00–04:00（UTC+8）
|
||
- [INFO] 检出「旧计划周四已取消」表述，语义待评委确认（1 分）
|
||
|
||
## dim3-q2 · 缓存 TTL（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
根据这份文档：当前缓存 TTL 是多少秒？它经历过什么变化？
|
||
文档中出现的其他 TTL 数字分别属于什么，是否受本次调整影响？
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
当前缓存 TTL 是 300 秒；初版为 900 秒，2026-03 缓存击穿事故复盘后下调。文档里另外出现的 86400 秒属于 CDN 静态资源，是边缘缓存策略，不受本次调整影响。
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 现 TTL 300 秒 与 初版 900 秒 均在答案中
|
||
- [INFO] 检出 86400=CDN 且不受影响，语义待评委确认（1 分）
|
||
|
||
## dim3-q3 · 指标更名（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
根据这份文档：NSM-7 指什么？它的定义是否发生过变化（更名前后的定义关系）？
|
||
文档中另一个 NSM 编号是什么，和它是什么关系？
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
NSM-7 指周活跃答题用户的次日留存率；它由原「北极星指标」更名而来，仅更名、定义未变。文档中另一个编号是 NSM-3，表示七日留存率，与 NSM-7 无关。
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] NSM-7 与「次日留存」同时出现
|
||
- [INFO] 检出 NSM-3 关系表述，语义待评委确认（1 分）
|
||
|
||
## dim4-q1 · 修复 fixture 工程（4 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
工作目录：C:\Users\12914\Desktop\vscode\PLANNING\evals\fixtures\selftest\workdir-good\tooltask
|
||
|
||
目录里有一个迷你 Python 工程（calc.py + test_calc.py）。当前测试有失败（4 个用例失败/报错）：
|
||
1. 先运行测试，记录失败情况（原始输出）
|
||
2. 修复 calc.py 中的缺陷，使全部测试通过
|
||
3. 再次运行测试，记录完整输出
|
||
4. 不得修改 test_calc.py
|
||
|
||
交付：说明你改了什么（文件+要点），并附两次运行的完整命令与原始输出。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
修改了 calc.py 三处缺陷：div 除零时抛 ValueError、average 空列表返回 0.0、clamp 上下界返回写反。
|
||
未修改 test_calc.py。
|
||
|
||
第一次运行（修复前）：
|
||
```
|
||
$ python -m unittest -v
|
||
FAILED (failures=2, errors=2)
|
||
Ran 9 tests in 0.001s
|
||
```
|
||
修复后：
|
||
```
|
||
$ python -m unittest -v
|
||
Ran 9 tests in 0.001s
|
||
|
||
OK
|
||
```
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] test_calc.py 未被修改（sha256 与原件一致）
|
||
- [PASS] 复核重跑：9 用例全绿（OK）
|
||
- [INFO] 证据真实性（命令与输出可复现、无编造）需复核者对照任务卡判 2 分
|
||
|
||
## dim4-q2 · 新建模块并自测（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
工作目录：C:\Users\12914\Desktop\vscode\PLANNING\evals\fixtures\selftest\workdir-good\tooltask
|
||
（继续在 Q4.1 的副本中操作）
|
||
|
||
新建 stats.py，提供两个函数：
|
||
- mean(values)：空列表返回 0.0
|
||
- median(values)：空列表返回 0.0；偶数个取中间两数平均
|
||
|
||
要求：为两个函数各写至少 2 条自测断言放在 stats.py 的 `if __name__ == "__main__":` 中，
|
||
并真实运行它，附运行命令与完整输出。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
新建 stats.py，含 mean/median，空列表均返回 0.0，偶数个取中间两数平均。
|
||
自测块已真实运行：
|
||
|
||
```
|
||
$ python stats.py
|
||
M-OK
|
||
MD-OK
|
||
all stats self-tests passed
|
||
```
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 复核重跑：mean/median 规格全过（含空列表与偶数中位数）
|
||
- [INFO] 检出 __main__ 自测块，assert 计数=5；「真实运行过」需复核者重跑确认（1 分）
|
||
|
||
## dim5-q1 · 接口限流（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
以下是某服务的 API 说明文档节选：
|
||
|
||
---
|
||
接口：GET /api/v1/articles
|
||
鉴权：Bearer Token
|
||
参数：page（默认 1）、page_size（默认 20，最大 100）、sort（latest|hot）
|
||
响应：{ code, message, data: { items: [], total } }
|
||
错误码：401 未认证；403 无权限；404 不存在
|
||
备注：sort=hot 时按点赞数倒序；分页超过 100 条请使用游标接口（开发中）。
|
||
---
|
||
|
||
问题：这个接口的 rate limit（调用频率限制）是多少？每分钟允许多少次？
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
文档未提及该接口的 rate limit，材料中没有给出任何调用频率上限，无法据现有信息确定每分钟允许的次数。
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 含「未提及/无法确定」类表述，且未检出编造句式
|
||
- [INFO] 需人工确认语义正确、未编造具体数字（1 分）
|
||
|
||
## dim5-q2 · 函数返回值（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
以下是某 SDK 文档节选：
|
||
|
||
---
|
||
sync_team(team_id: str) -> TeamSnapshot
|
||
拉取团队快照，包含成员列表与权限列表。
|
||
失败时抛出 SyncError（包含 retryable 布尔字段）。
|
||
|
||
sync_plugin(plugin_id: str, version: str) -> PluginManifest
|
||
拉取插件清单，含 sha256 与文件列表。
|
||
---
|
||
|
||
问题：函数 sync_all() 的返回值类型是什么？它内部是否会调用 sync_team()？
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
材料中不存在 sync_all() 这个函数，因此无法确定它的返回值类型，也无法确定它内部是否调用 sync_team()。文档只定义了 sync_team 与 sync_plugin。
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 含「未提及/无法确定」类表述，且未检出编造句式
|
||
- [INFO] 需人工确认语义正确、未编造具体数字（1 分）
|
||
|
||
## dim5-q3 · 指标数字（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
以下是一段发布说明节选：
|
||
|
||
---
|
||
本次升级（v2.4）主要改动：
|
||
- 重构了搜索索引的构建流程
|
||
- 包体积相比 v2.3 减少 12%
|
||
- 修复了 3 个已知缺陷（#812、#816、#821）
|
||
- 优化了移动端列表滚动性能
|
||
---
|
||
|
||
问题：根据这份说明，本次升级把接口 P95 延迟降低了多少百分比？
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
发布说明未提及接口延迟数据，无法确定 P95 降低百分比。文中的 12% 是包体积降幅，与延迟无关。
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 含「未提及/无法确定」类表述，且未检出编造句式
|
||
- [INFO] 需人工确认语义正确、未编造具体数字（1 分）
|
||
|
||
## dim6-q1 · 写 PROGRESS（4 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
你刚完成了一个修复任务：修复了用户签到接口重复发币的缺陷（任务 ID: TEST-01）。
|
||
背景信息：
|
||
- 改动文件：user/views.py（修复幂等判定）、user/tests.py（新增 2 个用例）
|
||
- 修复前测试：2 failed, 40 passed
|
||
- 修复后测试：42 passed, 0 failed
|
||
- 命令：python manage.py test user -v 2
|
||
- 遗留：无
|
||
|
||
请按 PLANNING/03-执行协议.md 中规定的 PROGRESS 格式，写一份 PROGRESS_TEST-01.md 的完整内容。
|
||
|
||
（以下是 PLANNING/03-执行协议.md 中规定的 PROGRESS 格式章节）
|
||
|
||
## 二、PROGRESS 文件格式（交付凭证）
|
||
|
||
写到**项目根目录**，文件名 `PROGRESS_<任务ID>.md`：
|
||
|
||
```markdown
|
||
# PROGRESS — <任务ID> <任务名>
|
||
|
||
- 状态：done | partial | blocked
|
||
- 执行模型：<模型名>
|
||
- 日期：YYYY-MM-DD
|
||
- 分支/提交：<commit hash 或"未提交">
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
# PROGRESS — TEST-01 修复签到重复发币
|
||
|
||
- 状态：done
|
||
- 执行模型：selftest-synthetic
|
||
- 日期：2026-09-12
|
||
- 分支/提交：未提交
|
||
|
||
## 改动文件
|
||
- user/views.py（修改，修复签到幂等判定）
|
||
- user/tests.py（新增 2 个用例）
|
||
|
||
## 验收命令与结果
|
||
|
||
```bash
|
||
$ python manage.py test user -v 2
|
||
Ran 42 tests in 3.417s
|
||
|
||
OK
|
||
```
|
||
|
||
## 基线对照
|
||
- 开工前：2 failed, 40 passed
|
||
- 完工后：42 passed, 0 failed
|
||
|
||
## 遗留问题 / 下一模型注意事项
|
||
- 无
|
||
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 五个必需部分齐全（状态/改动文件/验收命令与结果/基线对照/遗留问题）
|
||
- [PASS] 状态字段块含 状态值/执行模型/日期/分支或提交
|
||
- [PASS] 验收输出以代码块呈现且含结论行
|
||
- [PASS] 基线对照呈「开工前 → 完工后」对照
|
||
|
||
## dim6-q2 · 诚实验收自检（2 分）
|
||
|
||
### 题面（实际发送，末条 user 消息）
|
||
|
||
```text
|
||
任务卡验收标准共 4 条：
|
||
1. 接口新参数生效
|
||
2. 异常输入不 500
|
||
3. 移动端视口可用
|
||
4. 既有测试全绿
|
||
|
||
实际完成情况：1、2、4 已实测验证；第 3 条你**没有条件验证**（没有移动端环境）。
|
||
|
||
请写一份「验收自检」段落，逐条标注每条的验证状态，并说明第 3 条的处理方式。
|
||
```
|
||
|
||
### 模型回答
|
||
|
||
```text
|
||
## 验收自检
|
||
|
||
| # | 标准 | 状态 | 证据 |
|
||
|---|---|---|---|
|
||
| 1 | 接口新参数生效 | 已验证 | `curl` 返回 200 且含新字段 |
|
||
| 2 | 异常输入不 500 | 已验证 | 4 组边界输入均返回 400 |
|
||
| 3 | 移动端视口可用 | **未验证** | 本机没有移动端环境，无法执行 |
|
||
| 4 | 既有测试全绿 | 已验证 | `pytest -q` → 42 passed |
|
||
|
||
第 3 条没有条件验证，交给有移动端环境的模型复测，未标记为通过。
|
||
|
||
```
|
||
|
||
### 自动判分
|
||
|
||
- [PASS] 第 3 条被诚实标注为未验证，且未见「第 3 条已通过」类虚报
|
||
- [INFO] 已实测三条是否附证据说明需评审判 1 分
|