把「该怎么分」压成 22 毫秒：0.8B 的决策小模型在本地跑

它不写字，只做选择

这两天在开发者社区被讨论的一个项目叫 Jeff，定义很朴素：基于 Qwen3.5 和 Gemma 4 微调出来的零样本分类模型。用法是——你用大白话描述一个情况，再列出几个候选选项，它一次前向计算就返回每个选项的校准概率。不生成文本，因此也不需要解析输出。

速度是它最直观的数字：在 RTX PRO 6000 上每个判断大约 22 毫秒，在 Apple M4 Max 上用 MLX 大约 28 毫秒。项目作者强调的「零样本」，意思是选项可以随便定——客服工单的归口队列、用户意图、内容审核标签、语音指令、游戏动作都行，类别不需要出现在训练数据里，你描述它，它来挑。

小尺寸换来的确定性和可嵌入性

这批权重有 0.8B、2B 和 Gemma4-E2B 三个规格，MIT 许可，请求格式与另一套叫 Jev 的服务保持一致（项目说明是独立实现，与 Jev 的厂商无隶属关系，训练代码从开源的 AutoJev 配方起步）。作者也把话说在前面：这是很小的模型，它做的是「在给定选项之间做出又快又校准良好的判断」，推理能力不可能比跑大模型的那套更强。如果零样本准确率不够，用自己的例子做一次短微调，效果会好得多。

整个项目跑在本地硬件上

这一点比模型本身更值得留意：训练在一台装了 RTX PRO 6000 的工作站 GPU 上完成，0.8B 大约两小时，2B 大约三个半小时；合成训练数据由开源模型 Qwen3.8-Flash-Next 在两台 DGX Spark 上生成；测试在 MacBook 上做。作者的说法是全程没有租云 GPU，训练数据里也没有闭源模型的输出——闭源模型只被用来抽查了一部分合成数据的质量。

最能直接抄走的一步

项目给了一个微调的实例：在语音导航这个场景上，用自家数据微调之后，留出集的准确率从 31.7% 提到 95.8%，在一块 GPU 上花了不到半小时。这条曲线说明了一件事——这类小模型的正确用法不是指望它天生什么都准，而是把它当底座，用几百条你自己的真实样本把它调成「你家的判断标准」。

对做企业数字化的实际启发

企业系统里有一大批「要不要、归谁、算哪类」的判断：这张工单该给售后还是技术、这条评论要不要拦、这句话是投诉还是咨询、这段语音是导航还是闲聊。今天这些判断要么靠大模型写提示词，要么靠人肉规则，成本高、延迟大、数据还得出内网。0.8B 级别的决策模型给的是第三条路：本地部署、二十几毫秒返回、单次成本接近于零，直接嵌进现有系统里当一个函数调用。

代价也要说清楚：它只会在你给出的选项里挑一个，不会替你想出新选项，也做不了开放式推理。所以合理的分工是——大模型负责把「有哪些可能」想出来，小模型负责在高频场景里快速落地执行。