Tomer Tunguz 谈 AI 优化 if-then 判断：专用决策器把分类成本降近百倍

在杂货店后面干活有它自己的一套规则：如果这食物是香蕉，就送到农产品区；如果是曲奇饼干，就放到零食货架；如果是孜然，就把它和香料摆在一起。

但如果那批香蕉已经烂了、曲奇饼干碎了、孜然也结块了呢？这些规则与例外支配着每一家杂货店和社区小店。起初它们是僵化的；随着时间推移，人们会发现更多的例外：那是大蕉吗？迪拜巧克力：算甜点还是烘焙原料？

编码，字面意思就是把这些规则与例外写进软件里。在 AI 出现之前，这些程序是僵化的。AI 负责处理例外情况：一次图像搜索就能把这种不熟悉的水果识别为 Musa paradisiaca，香蕉的近亲。1

但我们并不需要世界上最聪明的模型来处理“如果是大蕉就归入农产品区”这种逻辑。

最新一波 AI 是一个强大的 if-then 决策器。Jev2 和 SemIf3 能在数百毫秒内回答这类问题，相比传统 AI 成本降低了 99%。4 它们简化了现有模型：只运行一次注意力计算，然后根据少量输出 token 确定每个允许答案的概率。5

我在自己的代码里寻找那些 if-then 语句，那些我交给 AI 处理的语句。几分钟之内，我就替换掉了其中一个智能体中大约四分之一的这类调用。在 98 条经过人工核验的生产环境邮件线程上，这些专用判定器几乎将生产模型的分类准确率翻了一倍，从 47% 跃升至 80% 以上。6

软件由各种原语构成：if-then 语句就是其中之一。通过优化这单一原语，我们看到了近两个数量级的成本降低，同时准确率还更高。

这些进展引出了一个问题：还有哪些编程原语会从同样的专门化中受益。它们也凸显了 AI 经济学的分化：用于探索的前沿模型与用于生产的优化模型。我们用最大的前沿模型来训练新模型，用能力最强的模型来设计系统架构。但一旦系统被工程化并经过加固，在工作流中运行它数千次或数百万次，则受益于更窄口径的 AI。

如果这是众多为生产而专门化的原语中的第一个，那么 harness 即将捕获更多的利润空间。7

Musa × paradisiaca。林奈在 1753 年将大蕉命名为 Musa paradisiaca，将甜香蕉命名为 Musa sapientum；如今已知两者都是同样两个亲本——Musa acuminata 与 Musa balbisiana——的杂交种。这一分类难到他把一个类群拆成了两个。↩︎

Jev，由 TypeSafe 于 2026 年 9 月 15 日发布。它通过一次并行处理返回带类型、经校准的决策，而非生成文本。↩︎

SemIf，作者 Theodore Lee，MIT 许可，于 2026 年 9 月 18 日发布，以及 kev、Jared Palmer：该接口模式的开放复现。基准数据为 SemIf 公布的数值，在 RTX 3090 上使用冻结的 Qwen3.5-4B 测得。↩︎

Jev 定价：每百万输入 token 收费 $0.042，输出 $0，TypeSafe 表示这可能受到补贴。Sonnet 级别的定价为每百万输入 $3、输出 $15。在一次典型的分类调用中，输入 2,000 token、输出 60 token，这便宜了 82 倍。TypeSafe 自身的工作流评测显示，Jev 每个案例成本为 $0.0004，而两个前沿模型分别为 $0.0304 和 $0.0836，差距达 76 倍至 209 倍。↩︎

SemIf 机制。该开源实现并非通过完整的 Transformer 堆栈自回归地生成 token，而是在提示词上运行注意力机制，直接从输出 logits 中评估候选选项，完全跳过多层前馈网络和解码步骤。↩︎

在 98 个经人工核验的生产环境邮件线程上进行的评估，2026 年 9 月：在完全相同的数据集上，生产环境的生成式 LLM 分类器达到了 47% 的准确率（46/98），而 Jev 得分 80%（78/98），本地 SemIf 得分 82%（80/98）。此外，在覆盖 31 封入站邮件的实时生产日志中，本地决策器对其中 8 封采取了行动且零错误，并将其余邮件安全地交由前沿模型处理。↩︎

Harness 的利润空间机遇。Harness 在不牺牲准确率的前提下削减执行成本；对底层模型原语进行专门化，会进一步扩大这一毛利润空间。↩︎