[B君笔记][博客]

noscript{position: fixed}B君笔记[博客][文章列表]

本地部署大模型：放弃粗暴的 preserve_thinking=no，拥抱受控的上下文压缩

2026-10-28 23:22:18

当 KV Cache 遇上思考链：ninfer 本地跑 Qwen3.8 28B 的 `preserve_thinking` 机制拆解

2026-10-28 12:02:30

NInfer-v100-duo-win 项目演进笔记

2026-10-27 01:10:18

旁路请求与会话前缀缓存（下）：把会话从 lane 上解绑——registry 的实现、证据与边界

2026-10-24 17:57:18

旁路请求与前缀缓存（中）：两个销毁点、四条路线，以及 C=1 下为什么只剩脱钩

2026-10-23 07:28:42

一个标题请求，让前缀缓存归零：单 lane 推理服务的现象与初判

2026-10-21 04:44:22

总结笔记 — V100 Duo 上 qwen3.8-27b/nvfp4 的峰值吞吐（2026-10-22）

2026-10-22 18:17:32

两个win 下支持v100x2的NInferd的项目：windows-ninfer-V100X2和NInfer-V100-Duo-Win 简单测试笔记

2026-10-22 07:02:33

ninfer-v100-duo-win qwen3.8 27b 4个模型测4道经典逻辑题测试

2026-10-21 06:18:47

NInfer-V100-Duo-Win 发布：在 Windows + 双 V100 TCC 上跑起 TP2 原生推理，兼容 NInferV2/V3

2026-10-19 23:19:35

1234567891011121314151617181920212223