加载中
输入关键词开始搜索

归档

时光荏苒，文字留痕

共 111 篇文章

2B token 之后：一个开源团队用一个月算清了 AI 的钱花在哪

2B token 之后：一个开源团队用一个月算清了 AI 的钱花在哪

Wagtail团队九月实验只用便宜模型GLM 5.3 Flash，共2B token。上半月达标，约68美元；下半月1B token转向其他模型。一次“氛围编程”原型烧掉450M token、150美元，超过目标模型半月开销，复盘认为本可用五分之一成本完成。因供应商容量不足，GLM性能退化，需切换同档模型。14模型评测中，DeepSeek V4.1 Flash以95%准确率、每任务0.09美元、14.9 Wh居首；整月能耗35 kWh，高于计划10 kWh。团队建议自动度量花费、单列试错预算、训练提示词与多智能体分工，并按成本或能耗而非token数选日常主力。

科技笔记
10月 Serenity
Redis 作者写了个本地推理引擎：128GB 的 Mac 上跑 284B 的模型

Redis 作者写了个本地推理引擎：128GB 的 Mac 上跑 284B 的模型

antirez 新项目 DwarfStar 4（ds4）并非通用 GGUF 播放器，而是用 C 写的窄口径推理引擎，仅支持 DeepSeek V4/V4.1 Flash、GLM 5.x、Qwen3.8 Flash Next，覆盖 Metal、CUDA、ROCm，文本与视觉均可。它面向高内存机器，以非对称 2-bit 量化压缩 MoE 路由专家、保留共享路径，并把 KV 缓存落到 SSD，借 prompt 哈希续长前缀。ds4、ds4-server、ds4-agent 共享模型与缓存，兼容 OpenAI/Anthropic 接口。128GB Mac、DGX Spark 可跑部分模型，普通笔记本仍难承载；窄口径使工程可控，但换模型约等于换适配，2-bit 质量需业务实测。团队可把敏感、高频、模型固定的请求低成本迁到本地，强推理仍交云端。

科技笔记
10月 Serenity
模型是不是被「偷偷降智」了？有人写了个每天跑 30 天的开源基准来验

模型是不是被「偷偷降智」了？有人写了个每天跑 30 天的开源基准来验

livenerf 检验 Claude Opus 5.5 上线后是否悄悄变差：自 9 月 24 日起每日跑 30 天，冻结提示词、CLI、判分器并保留日志，用 Inspect 和固定统计法测漂移；从 2336 题筛出 78 道时对时错题，每题采样 4 次，前 10 天建基线，第 20 天后出正式结果。截至 9 月 29 日已完成 6 天。测的是 Claude Code 订阅服务，非裸API。先固定样本、判分、时间戳与版本配置，再优化。

9月 Serenity
智能体从「随叫随到」变成「一直上班」：dots 真正想解决的是上下文问题

智能体从「随叫随到」变成「一直上班」：dots 真正想解决的是上下文问题

OpenAI 9月29日发布 dots，一类由 GPT-6 Astra 驱动的始终在线智能体，有云电脑，可从反馈学习并 7×24 推进目标，插件连接超 4000 个应用。它把“你问它答”变为任务在用户离开后继续推进；用户可进入云电脑检查过程，也可在 ChatGPT、Slack、Teams 中对话，一个 dot 并行多个项目。目前灰度开放，企业版需管理员开启 beta。应先自动化规则清楚、只缺人盯的流程，并先明确数据权限与人工批准边界。

9月 Serenity
能力贴着顶配、价格只剩五分之一：GPT-6.1 Sol 把智能体的账算清了

能力贴着顶配、价格只剩五分之一：GPT-6.1 Sol 把智能体的账算清了

OpenAI 9月29日发布GPT-6.1 Sol，称智能接近GPT-6 Astra，标准单价仅其五分之一；缓存输入降至每百万token 0.10美元，比标准输入低95%，也比GPT-6 Sol缓存价低一半。智能体需反复调用同一上下文，缓存降价直接削减最大开销。编程、PDF问答、自动化流程等评测接近顶配且成本更低。三档模型四周内全更新，等待下一代已不现实。应优先做上下文复用高的场景，选型不必只盯最强档，预算投向评测与复核，并用降价增加自检与重试。

9月 Serenity
当 AI 成了命令行的主要用户：Cloudflare 用一个 cf 覆盖全部 API

当 AI 成了命令行的主要用户：Cloudflare 用一个 cf 覆盖全部 API

Cloudflare披露，Wrangler调用中AI智能体占比2026年3月约四分之一，此前一年为个位数，上周达48%，且更高产：每天用不同命令数近人的两倍，单日超六个命令概率近四倍。Wrangler仅约280个操作，产品有几千接口，旧命令各团队自写、术语不一。新工具cf基于接口描述和内部生成管线生成命令行，覆盖全部接口，并面向未读文档的智能体：内置搜索引导、默认JSON、统一配置。它仍是公开测试版，管线开源。企业应提供结构化、可搜索、配置明确的智能体入口，内部工具宜单一入口加自动生成，并把接口描述当基础设施维护。国内使用前需验证网络链路与合规。

科技笔记
9月 Serenity
把「该怎么分」压成 22 毫秒：0.8B 的决策小模型在本地跑

把「该怎么分」压成 22 毫秒：0.8B 的决策小模型在本地跑

Jeff 是基于 Qwen3.5 和 Gemma 4 微调的零样本分类模型：输入情况描述和候选选项，一次前向计算返回选项校准概率，不生成文本。RTX PRO 6000 上约 22 毫秒，M4 Max 约 28 毫秒；提供 0.8B、2B、Gemma4-E2B 三个规格，MIT 许可，可本地嵌入。训练在本地完成。语音导航微调后，准确率从 31.7% 提升到 95.8%，不到半小时。它适合客服归口、意图、审核高频分类，只能在给定选项中选择，不能开放推理；宜大模型生成选项，小模型执行。

科技笔记
9月 Serenity
同一份单价、少三成花费：Sonnet 5.5 把「日常活」的模型又推了一格

同一份单价、少三成花费：Sonnet 5.5 把「日常活」的模型又推了一格

9月28日，Anthropic发布Claude Sonnet 5.5，比上代更快，多数任务最多省三成，是Opus 5.5的搭档。评测中，其智能体编程、跨学科推理、图表识别分别达70.6%、64.5%、61.6%，进步明显，但复杂判断仍以Opus 5.5更强。价格与上代相同，因完成任务所需token更少，每任务成本最多低三成，企业应按任务而非百万token单价核算。它还首次加入网络安全护栏与回退、防推理提取分类器；原关闭思考者迁移需改用between_tools。实用做法是分级选型、按任务算账，并保留可替换接口。

科技笔记
9月 Serenity
别把 Go 代码绑在 GitHub 上：一个自定义域名就能解开

别把 Go 代码绑在 GitHub 上：一个自定义域名就能解开

Go 把导入路径当作代码获取地址，方便却让项目绑定托管商，迁移时所有引用者都要改 import。作者举例，有公司同时使用 GitLab、GitHub 和 Azure DevOps，因迁移成本高而付三份托管费。他建议商业团队让内部库使用自定义域名，import 路径不变，背后可随时切换仓库，用 nginx 和元信息页面即可实现。企业数字化可借鉴：把域名当最便宜的抽象层，附件、图片、接口等 URL 也先走自有域名，并把可迁移写进交付标准，降低锁定与迁移成本。

科技笔记
9月 Serenity
不登录、不付费、本地跑：fakecloud 想把测试用的 AWS 搬进你的电脑

不登录、不付费、本地跑：fakecloud 想把测试用的 AWS 搬进你的电脑

fakecloud 是专供集成测试的本地 AWS 云模拟器，应用仍用官方 SDK、CLI 和 IaC，只需把 endpoint 指向 localhost，并可用测试 SDK 断言事件、重置状态。它宣称覆盖 105 个服务、7,508 个操作，其中 3,932 个已实现操作经 Smithy 生成测试验证，并支持 30 多个服务间联动。对比 LocalStack 社区版，启动约 300 毫秒、空闲内存约 10MiB、单文件约 19MB，无需账号或 token，许可证为 AGPL-3.0。但它仍年轻，模拟通过不等于线上通过；适合日常集成测试与 CI 快速验证，不能替代真云回归。企业可将其用于降低测试环境成本，在交付中加入一键起本地环境，并划清模拟与真云回归边界。

科技笔记
9月 Serenity