给 Qwen3.8-Flash-Next 配内存 KV 缓存
上一篇讲了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next。这台机器主要给我的 Agent 用，会话动不动就是几十万 token。显存里能放约 110 万 token 的 KV 缓存，可会话一多，或者某个会话闲置一阵，它的缓存就会被挤出显存，下次再问只能从头重算。几十万 token 从头算，要好几分钟。 所以又加了一层主机内存缓存：显存放不 …
TAG
KV Cache
带有这个原始标签的恢复文章。
TAG
带有这个原始标签的恢复文章。