Field notes / inference
把跑出来的数字，写成可复核的记录。
这里记录模型服务、GPU 推理和基础设施调优。参数怎么改、测到什么、最后留不留，都按时间写清楚。
GPU inference / GLM-5.3
GLM-5.3-Flash / 4×A100：mamba align 越界、NCCL pin 的代价、cudagraph 捕获尺寸取整
178 GB AWQ-W4A16 权重用 TP4 + MTP3 在 4×A100-SXM4 上服务 272K 上下文。记录两次 cudaErrorIllegalAddress 崩溃的根因与源码级热补丁，以及两个自伤配置：NCCL pin 折损 3–8 倍、cudagraph 捕获尺寸实际只覆盖 4 条并发。
阅读记录 →GPU inference / Qwen3.8
Qwen3.8 27B / 4×A100 调参记录
持续记录 30001 上 Qwen3.8 INT8 的参数变更、测试结果、保留或回退决定。
阅读记录 →Agent runtime / Tool calling
Qwen3x 工具调用：XML 默认，双格式解析才是解法
记录 Qwen3x 在 XML/JSON、流式工具调用和高温度采样下的格式问题，以及当前生产部署的取舍。
阅读记录 →GPU inference / Deployment
Qwen3.8 Flash Next / 4×A100 完整部署记录
从 27B dense 切换到 Flash Next AWQ：TP4+EP、PLE offload、MTP3、262K context、64K/c8 性能扫描与运行期 OOM 边界。
阅读记录 →