给 Qwen3.8-Flash-Next 配内存 KV 缓存

Thu, 01 Oct 2026 00:00:00 +0000

上一篇讲了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next。这台机器主要给我的 Agent 用，会话动不动就是几十万 token。显存里能放约 110 万 token 的 KV 缓存，可会话一多，或者某个会话闲置一阵，它的缓存就会被挤出显存，下次再问只能从头重算。几十万 token 从头算，要好几分钟。

所以又加了一层主机内存缓存：显存放不下的 KV 先存到内存里，用到时再搬回显存。这篇记一下怎么设置，以及踩过的坑。

怎么设置

引擎还是 1Cat-vLLM，用它自带的 OffloadingConnector：

--enable-prefix-caching --mamba-cache-mode align --prefix-cache-retention-interval 0 \
--kv-transfer-config '{"kv_connector": "OffloadingConnector", "kv_role": "kv_both",
 "kv_connector_extra_config": {
 "spec_name": "TieringOffloadingSpec",
 "cpu_bytes_to_use": 68719476736,
 "eviction_policy": "lru",
 "demote_superseded_states": true,
 "mamba_state_slots_reference_tokens": 65536}}'

其中三个参数最关键：

cpu_bytes_to_use 决定给缓存多少内存，我给了 64GB。容器总共 160GiB 内存，跑起来以后还剩 15GB 左右。别给得太满，系统和多模态预处理也要用内存。
demote_superseded_states 让已经用完的旧状态优先被淘汰。不开的话，闲置的长会话很容易丢缓存（#738）。
mamba_state_slots_reference_tokens 决定内存怎么分配，最需要按场景调，下面细说。

为什么要分两种槽

Flash-Next 是混合模型：一部分层是普通注意力，一部分是线性注意力（GDN）。普通注意力的缓存逐个 token 存；线性注意力存的是一份“状态”，而且只在请求结尾处才有。

要从内存里恢复一个会话，两样都得有。只有 token 缓存、没有对应位置的状态，前面存的东西就全用不上，还是得从头算。所以内存被分成了两块：token 槽存普通注意力的 KV，很便宜；状态槽存线性注意力的状态，一个就顶好几个 token 槽，数量少得多。

KV Cache on Leon Li · 李梁

给 Qwen3.8-Flash-Next 配内存 KV 缓存

怎么设置

为什么要分两种槽