荒野土路上一个背着吉他的人影正走向远方，天色偏暖，画面空旷

一个反直觉的提问：嵌入模型能不能直接「读出」文字

Google 的 EmbeddingGemma 2 是个多模态嵌入模型，把文本、图像、音频、视频放进同一个向量空间——念出一个词，它的音频向量会落在对应的书面词附近。有人据此问了一个问题：既然音与词在同一空间里挨着，能不能直接把这个空间里的词读出来？于是有了 EmbeddingGemma Transcribe 这个实验：在基础款 M3 MacBook Air（8GB 内存）上，1 小时音频约 12.6 秒转完，全程在本机完成。

做法：音频编码器不动，只训一个「读取器」

流程四步：① EmbeddingGemma 2 的音频编码器保持原样；② 训练一个小「读取器」（reader），把每一小段音频映射进模型的文本空间；③ 在约 22.9 万个英文词里选距离最近的那个，切片连起来就是转写结果；④ 再用一个很小的模型补上标点与大小写。只有读取器参与训练：8 张 H100 上不到两小时，语料是开放授权的英语语音；基础模型从未为语音转写训练过。

速度和错误率，都不藏着

速度对比（倍数约等于「每处理 1 秒音频能覆盖多少秒音频」，越大越快）：EmbeddingGemma Transcribe 跑在神经引擎上，约 288 倍（M3 MacBook Air 8GB，1 小时音频 12.6 秒）；IBM Granite Speech 5.0 TurboCTC 走 MLX/GPU 约 150 倍（同一台机器 25.7 秒）；NVIDIA Parakeet TDT 0.6B v3（FluidAudio）在 M4 Pro 上 156 倍、M5 Pro 上 335 倍，其微调版 Phonon-2 在 M5 Pro 上 480 倍。作者自己提醒：前两行是他们在同一台基础款 M3 上的实测，后三行是 FluidAudio 公布的、跑在更新更大的 Mac 和不同音频上的基准，只能当粗略参考，不是同条件排名。质量方面也没美化：当前词错率约 5%，而领先的语音模型是 2%–3%；他们认为把读取器训得更好可以缩小这个差距，那是下一步。用法上，丢进音频文件即可，也可以按住右 Option 键说话、松开就把文字输入任意应用；音频不出本机。

对做企业数字化、小团队的实际启发

第一，「换个用法」有时比「换个更大的模型」更划算：这次没用专门的语音模型，而是把已有的多模态嵌入空间当成词表来查，训练量小到两小时、八张卡。给客户找方案时，先问现成能力能不能重新组合，往往比换模型便宜。第二，端侧、离线的转写现在是真的能用了：8GB 内存的入门笔记本就跑得动，速度快于实时几十倍，音频不出设备——采访录音整理、会议纪要、现场记录这些场景，在数据合规上比上传云端好谈得多。第三，但要认清它当下的边界：词表是英文，词错率还有 5% 对 2%–3% 的差距，中文场景别直接套，落地前要用自己的音频（口音、专业词、噪声）实测一遍。第四，这个实验留了一个可复用的判断标准：报告性能时把「同机实测」和「别人家的公开基准」分开写，并主动说明不可比——这正是给客户做技术选型时最缺的那种诚实。