4 张 V100 也跑上了 DFlash2

Sat, 24 Oct 2026 00:00:00 +0000

家里那 4 张 V100 还在跑 Qwen3.8-Flash-Next。最近忙的一件事，是给它加上 DFlash2。

DFlash2 是 incoai 做的草稿模型，用来做投机解码：小模型先猜，大模型来核对，猜对了就省几步。模型自带的 MTP 是一个一个往下猜，DFlash2 一次猜一整块。官方是在新一代的卡上跑的，V100 是 2017 年的老架构，很多现成的东西用不上，只能一点点补。10 月 23 日，它跟着 ReVolta 0.1.2 一起放出来了。ReVolta 是我从 1Cat-vLLM 分出来、专门给 V100 用的 vLLM 分支。

用下来的感觉是：写英文、写代码的时候快了不少，中文反而略慢一点，同时跑的请求一多也不占优势。所以默认还是 MTP4，DFlash2 留作选项。有位社区的朋友在 NVLink 版的 V100 上也帮忙测了一遍，结论差不多，并发几路的时候还更好一些。

这两天在弄下一版。一是让 DFlash2 少占点显存，好放下更长、更多的上下文；二是试着自己微调这个草稿模型，想让它更懂中文，也更懂我平时让 Agent 干的那些活。微调还没调出比原版好的，倒是先学到一件事：数据不在多，在杂。

具体的数字和用法都在 ReVolta 的说明里，这里就不列了。

DFlash on Leon Li · 李梁

4 张 V100 也跑上了 DFlash2