试着给 DFlash2 的草稿模型做微调
上一篇说到，DFlash2 在 V100 上跑起来了，写英文和代码快，中文反而略慢一点。我就想，能不能把草稿模型调一调，让它更会猜中文，也更会猜我平时让 Agent 干的那些活。 草稿模型猜得准不准，看的是它和大模型合不合拍。所以思路很直接：拿大模型自己说过的话来教它。我手上正好攒了不少让 Agent 干活的对话，其中有一部分就是这个模型自己写的。挑出来洗一 …
ARCHIVE
文章
从互联网档案恢复的历史记录，以及此后继续留下的文字。
4 张 V100 也跑上了 DFlash2
家里那 4 张 V100 还在跑 Qwen3.8-Flash-Next。最近忙的一件事，是给它加上 DFlash2。 DFlash2 是 incoai 做的草稿模型，用来做投机解码：小模型先猜，大模型来核对，猜对了就省几步。模型自带的 MTP 是一个一个往下猜，DFlash2 一次猜一整块。官方是在新一代的卡上跑的，V100 是 2017 年的老架构，很多现 …
让 Nexus 3132Q-X 的风扇安静下来
家里的 Cisco Nexus 3132Q-X 一直有个问题：风扇太吵。网络功能用得好好的，可放在家里，默认的最低转速还是有点难受。 这次和 Codex 一起沿着温控逻辑查下去，终于让它安静了下来。最低控制档从 50 改成 20，四个风扇模组、八个转子的实际转速都降了下来。第一次生效后，我去听了一下，明显安静了。 改的是运行中的数据 测试设备是 Nexus …
没有 VGA 显示器，找回 R7515 的 iDRAC 密码
今天给家里的 Dell PowerEdge R7515 找回 iDRAC 密码，来回折腾了半天。主要卡在一件事上：手边没有 VGA 显示器。 机器能正常开机，iDRAC 也在线。有 VGA 显示器的话，可以进 BIOS 的 iDRAC 设置改密码。可我只有 HDMI 显示器，接不上服务器的 VGA 输出。远程控制台又得先登录 iDRAC，就这么卡住了。 借一 …
每两分钟卡 7 秒，原来怪宿主机
用 4 张 V100 跑 Qwen3.8-Flash-Next 有一阵了，一直有个怪毛病：服务时不时整个停住几秒，所有请求一起不动，然后又自己恢复。查了一整天，最后发现问题根本不在推理服务里，改一行配置就好了。 现象 停顿大约每两分钟一次，每次约 7 秒。内存 KV 缓存从 64GB 改成 32GB 以后，缩短到约 3.5 秒。 只在处理新提示词 …
4 张 V100 跑满一整天
前两篇写了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next，这篇记一下它被真实业务用满一整天是什么样子。 跑的什么 配置没变：4 张 V100 PCIe 32GB，每张卡限制在 200W，AWQ int4 量化，开了 MTP4，上下文最长 512K，最多 4 路并发，另外拿 64GB 内存做 KV 缓存。 业务是我自己的一条 Agent 流 …
给 Qwen3.8-Flash-Next 配内存 KV 缓存
上一篇讲了怎么用 4 张 V100 跑 Qwen3.8-Flash-Next。这台机器主要给我的 Agent 用，会话动不动就是几十万 token。显存里能放约 110 万 token 的 KV 缓存，可会话一多，或者某个会话闲置一阵，它的缓存就会被挤出显存，下次再问只能从头重算。几十万 token 从头算，要好几分钟。 所以又加了一层主机内存缓存：显存放不 …
用 4 张 V100 跑 Qwen3.8-Flash-Next
家里的 Local AI 服务器是一台 Supermicro 双路 AMD EPYC 7K62：96 核、512GB ECC 内存。这篇用到其中 4 张 V100 PCIe 32GB，卡间没有 NVLink；推理服务跑在分配了 48 vCPU、160GiB 内存的 LXC 容器里。最近它常驻运行 Qwen3.8-Flash-Next 的 Uncensored …
Mares Matrix 潜水电脑 中文说明书
Mares Matrix 潜水电脑 中文说明书Matrix潜水电脑
Lumia 800 更新到 1600.2483.8106.12070
今天手机刚刚拿到，开机就提示更新1600.2483.8106.12070，希望之前Lumia 800的那些 电池啊、音量啊之类的问题都能解决了。