同一批四道经典逻辑题(12 球 / 海盗分金 / 四人过桥 / 沙漏计时),对比不同量化与思考模式的首轮对话表现。
时间均为北京时间(Asia/Shanghai)。模型家族:qwen3.8-27b(unsloth 路由),沙箱统一 workspace-write。
对错码按题 1–4:1 = 对,0 = 错,5 = 对一半。
一、被测模型定义
来自基准脚本的量化 / 头模式配置(4 个命名模型):
| 键 |
模型文件 (.ninfer) |
HEAD |
标签 |
nvfp4 |
qwen3_8_27b_nvfp4.ninfer |
1 |
official nvfp4 |
coder |
Qwen3.8-27B-Coder390-EfficientThink-W4A4-MTP-DFlash2.ninfer |
1 |
Coder390 EfficientThink W4A4, V3 indexed head |
q6 / q6k |
Qwen3.8-27B-Coder390-EfficientThink-Q6_K-MTP.ninfer |
0 |
Coder390 EfficientThink Q6_K, MTP indexed head |
b |
Qwen3.8-27B-Coder390-W4A4-MTP-DFlash2-NInferV2-NOT-FOR-V3.ninfer |
0 |
Coder390 W4A4, V2 full-head only |
说明:HEAD=1 走 V3 indexed head,HEAD=0 走 V2 full-head。b 与 coder 同是 W4A4,区别在头模式(V2 full-head vs V3 indexed head)。
nvfp4 被跑了 3 次(2×xhigh + 1×medium),其余模型各 1–2 次。会话标题以运行标签命名。
二、首轮对话对比总表(含思考模式)
nvfp4 的 3 次运行用 ①②③ 区分(①② 为 xhigh,③ 为 medium,即原 bnfp4-1111-m)。
| 模型 |
运行标签 |
思考模式 |
题1 |
题2 |
题3 |
题4 |
开始 |
总耗时 |
输入 tok |
输出 tok |
合计 tok |
输出速度* |
| coder |
coder-0111 |
xhigh |
0 |
1 |
1 |
1 |
05:22:54 |
141.2 s |
2,392 |
13,462 |
15,854 |
≈95.3 tok/s |
| nvfp4 |
nvfp4-1111① |
xhigh |
1 |
1 |
1 |
1 |
05:30:48 |
100.2 s |
11,639 |
8,808 |
20,447 |
≈87.9 tok/s |
| q6 |
q6-5110 |
xhigh |
0.5 |
1 |
1 |
0 |
05:35:28 |
99.0 s |
11,639 |
6,737 |
18,376 |
≈68.0 tok/s |
| b |
b-1111 |
xhigh |
1 |
1 |
1 |
1 |
05:43:22 |
170.3 s |
11,639 |
15,497 |
27,136 |
≈91.0 tok/s |
| nvfp4 |
nvfp4-1111② |
xhigh |
1 |
1 |
1 |
1 |
05:51:20 |
100.4 s |
11,639 |
8,925 |
20,564 |
≈88.9 tok/s |
| nvfp4 |
nvfp4-1111-m③ |
medium |
1 |
1 |
1 |
1 |
05:54:20 |
105.7 s |
11,601 |
9,232 |
20,833 |
≈87.3 tok/s |
| coder |
coder-1111 |
xhigh |
1 |
1 |
1 |
1 |
06:02:37 |
163.0 s |
11,639 |
15,547 |
27,186 |
≈95.4 tok/s |
* 速度 = 输出 token ÷ 总耗时(含 prefill 与整段流式生成)。
* coder-0111 输入仅 2,392(该次运行时上下文更短,未注入技能目录等提示),与其余六次(≈11.6k)不可直接横比。
* ①②③ 是同一 nvfp4 模型的三次独立运行,用于观察同一模型的稳定性。
三、按模型归组
nvfp4(official nvfp4, HEAD=1)— 3 次运行
- nvfp4-1111①:全对。xhigh,输出 8,808,耗时 100.2 s。
- nvfp4-1111②:全对。xhigh,输出 8,925,耗时 100.4 s。
- nvfp4-1111-m③:全对。medium(唯一一个 medium 运行),输出 9,232,耗时 105.7 s。
- 三次全对、输出量集中在 8.8–9.2k、耗时约 100–106 s,是四模型里最稳、最省、最快的一组;medium 与 xhigh 几乎无差别。
coder(Coder390 EfficientThink W4A4, V3 indexed head, HEAD=1)— 2 次运行
- coder-0111:题1 错(漏掉 B4 轻球候选,追问后才自纠),题2/3/4 对。xhigh,输出 13,462,耗时 141.2 s。
- coder-1111:全对。xhigh,输出 15,547,耗时 163.0 s,输出速度最快之一(≈95.4 tok/s)。
- 同一模型两次出现对错翻转,12 球这类边界题上推理链不稳定。
q6(Coder390 EfficientThink Q6_K, MTP indexed head, HEAD=0)— 1 次运行
- q6-5110:题1 对一半("左重"分支候选描述有误),题4 错(沙漏翻转后误判顶部剩余沙量:3 分钟当 1 分钟)。xhigh,输出最少(6,737)、速度最慢(≈68.0 tok/s),是唯一题4 错的。
b(Coder390 W4A4, V2 full-head only, HEAD=0)— 1 次运行
- b-1111:全对。xhigh,输出 15,497,耗时 170.3 s(最慢),速度 ≈91.0 tok/s。与
coder 同为 W4A4,但走 V2 full-head,输出量与 coder-1111 接近(反复核对型冗长推理)。
四、正确率小结
| 模型 |
运行 |
题1 |
题2 |
题3 |
题4 |
全对? |
| coder |
coder-0111 |
✗ |
✓ |
✓ |
✓ |
否 |
| coder |
coder-1111 |
✓ |
✓ |
✓ |
✓ |
是 |
| nvfp4 |
nvfp4-1111① |
✓ |
✓ |
✓ |
✓ |
是 |
| nvfp4 |
nvfp4-1111② |
✓ |
✓ |
✓ |
✓ |
是 |
| nvfp4 |
nvfp4-1111-m③ |
✓ |
✓ |
✓ |
✓ |
是 |
| q6 |
q6-5110 |
½ |
✓ |
✓ |
✗ |
否 |
| b |
b-1111 |
✓ |
✓ |
✓ |
✓ |
是 |
- 5 / 7 次全对;
coder(1 次错)与 q6(1 次错)各有 1 次出错。
nvfp4 3 次全对、零失误,正确率最稳定。
- 出错点集中在两道"需细致枚举 / 模拟状态"的题:12 球(题1,coder-0111 漏候选、q6 候选描述错半)与沙漏(题4,q6 翻转机制理解错)。
五、观察
nvfp4 最稳最省:3 次运行全部全对,输出 8.8–9.2k、耗时 ≈100–106 s,是四模型里正确率与效率都最好的。
- medium 与 xhigh 拉不开差距:nvfp4 的 medium 运行(9,232 / 105.7 s)与 xhigh 运行(8,808 / 100.2 s、8,925 / 100.4 s)在输出量、耗时、正确率上几乎重合。
- W4A4 两兄弟(
coder / b)输出重、耗时高:coder-1111 与 b-1111 输出都 ≈15.5k、耗时近 3 分钟,是反复核对型冗长推理;正确率虽全对(coder-1111、b),但代价是速度。
q6 输出最少却出错:6,737 token、≈68 tok/s 都是最低档,推理最"浅",错误恰好出在需细致模拟状态的沙漏题(题4)与 12 球分支描述(题1 错半)。
- 输出量 ≠ 正确率:nvfp4 输出最少却全对,coder/b 输出最多、q6 输出少却出错。
- 速度:coder-0111/coder-1111 最快(≈95 tok/s),q6 最慢(≈68 tok/s);nvfp4 与 b 集中在 ≈88–91 tok/s。
- 真正拉开差距的是同一思考档位下推理路径的展开深度(coder/b 冗长、nvfp4 精炼、q6 过浅),而非 xhigh / medium 档位本身。
- nvfp4 不知道是不是题目被训练过了,不然就是又快又好
六、题目
题1:12 球问题
有 12 个外观相同的球,其中 1 个重量异常,但不知道它是偏重还是偏轻。给你一台无砝码天平,最多称 3 次,找出异常球,并判断它偏重还是偏轻。怎么称?
题2:海盗分金
5 个海盗 A、B、C、D、E 分 100 枚金币,A 最资深,E 最年轻。规则:
由最资深者提出分配方案;
所有人投票,包括提案者,若同意票数 不少于半数,方案通过;
若不通过,提案者被扔下海,由下一人继续提案;
海盗优先级:保命 > 金币更多 > 若金币相同则希望别人死。
问:A 的最优方案是什么?
题3:四人过桥
四个人夜间过桥,只有一只手电,桥一次最多过两人,且过桥必须带手电。四人单独过桥所需时间分别为 1、2、5、10 分钟;两人同行按较慢者计时。手电需要有人送回。问:怎样在 17 分钟内全部过桥?
题4:沙漏计时
有两个沙漏:一个漏完需 4 分钟,一个漏完需 7 分钟。沙漏可以随时翻转。如何用它们准确量出 9 分钟?