侧边栏壁纸
博主头像
HHShare 博主等级

行动起来,活在当下

  • 累计撰写 292 篇文章
  • 累计创建 36 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

AI 预算砍九成,Revolut 把它花在了 Jira 上

晖晖分享
2026-11-04 / 0 评论 / 0 点赞 / 0 阅读 / 0 字 / 正在检测是否收录...
温馨提示:
部分素材来自网络,若不小心影响到您的利益,请联系我删除。

Revolut 是一家英国数字银行,两千名工程师天天用 AI 写代码。

十月下旬,它的运营与基础设施负责人 David Abitbol 上了纽约 AI Engineer 大会的台,讲的是账单。

不到一年,AI 编程的推理成本砍掉约 90%。

手法不复杂。默认模型从 Claude Code、Codex 这类按 token 计费的服务,换成自家部署的 GLM,押的是开源这条路。

如今跑的是 GLM-5.3,架在 56 张英伟达 B200 上。

便宜到什么程度?成本页上写的是每百万 token 0.3 美元,输入输出同价,缓存命中不算钱。

换算到我们的单位,一美元能买 333 万 token。

对照口径也很直白,约为原先付给 Anthropic 和 OpenAI 的十分之一。

△The Register 报道原文

省下的额度花到哪儿去了,才是更值得看的部分。

先把人卡住,再谈省钱

Revolut 不是一上来就自建。

2025 年 1 月,Gemini 先进了公司。

工程师能拿内部数据直接问,编码时间掉了 20%,交付周期掉了 10%。Abitbol 把这点收益归给「少翻 Stack Overflow」。

2026 年初推 Claude Code,摊子铺开了,账单也铺开了。

有人一个月烧掉一千美元,有人烧掉一万美元,交付上的回报却对不上号。

于是上硬预算,每人能用的 token 被掐死。第一轮就翻车在用量上,额度一紧,好钢全留到季度末。

△成本页:每百万 token 0.30 美元,缓存命中免费

这笔账我们都会算。限额限住的其实是用法。

自建在 4 月起步,GLM 成了首选。

这可不是小模型,7540 亿总参数,每生成一个 token 激活 400 亿。

光权重就要约 380GB 显存。56 张 B200,按八卡一台算,相当于七台 DGX B200。

△一年半,四次换姿势

省下的时间不在编辑器里

按理说,编码快了,交付就该快。

Revolut 给的是编码时间减 60%、交付周期减 70%。可 Abitbol 说,卡点从来不在写代码那一段。

一个功能从领到手上到合入,中间还夹着查收件箱、翻 Jira,还要对着 Confluence 找上下文。

这些活儿交给 AI,效果立竿见影,代价是吃 token。

预算紧的时候,工程师会把额度攒给正经写代码,杂活继续手工做。

额度放开之后,同一批人把这些也丢给了模型。

讲稿里还有一句更实在的话。编码那一段可以压,交付流程里别处照样按天算。

省下来的注意力,比省下来的钱更值钱。

△讲稿要点页:账单是过去支出的十分之一

同一批显卡,14.26 秒变 1.68 秒

更硬的一段是延迟。

迁移中途,首字延迟 14.26 秒;调完之后 1.68 秒。

显卡一张没加,还是那 56 张,同期请求量反倒多了 76%。

△同批 B200:首字延迟从 14.26 秒到 1.68 秒

手段都在服务端。调超参,上 NVFP4 量化,把 prefill 和 decode 拆开跑,再重设上下文长度。

还有个细节值得记。模型在 TP4 下塞得进去,可留给 KV cache 的空间不够用,上到 TP8 才稳。

缓存命中率被当成一级指标,编程负载的目标是九成以上。

上下文他没往上堆。「Long context is a scam.」原话就这么难听。

接着说,一百万 token 能伺候,真正需要的是 25.6 万。

交互上的尺子也定得很土:首字 3 秒以内,超过 5 秒他的 Slack 就开始响。

吞吐 200 token 每秒够用,因为人已经不看思维流了,任务并行丢出去,干完再回来收。

下午 5 点之后,同样一批卡能跑到 800。那是没人抢的时候,不算服务目标。

这套账的边界在哪

自建不等于全换。

GLM 认字不认图,界面相关的活得另找。

Revolut 加了一层路由,图像识别丢给 Gemini 这类多模态模型,主任务留在 GLM。

Hacker News 上这条讨论攒了 155 条回复,算盘打得比正文还细。

一派先问 56 张 B200 组集群是不是点一下按钮的事。底下有人直接摆价目:Haiku 5.5 每百万输入一毛、输出五毛,自建未必更便宜。

也有反过来的声音。多数公司的日常编程,GLM-5.3 已经过了够用这条线,门槛是价格。

△Hacker News 讨论:185 分,155 条回复

合规那半边,Abitbol 划得很清楚。推理只落在美国和欧盟,加上英国、以色列,供应商默认零保留。

沙箱里 grep 放行、Gradle 不放,因为这条流程里始终有人在看着。

他的口径也有毛边。90% 是账单比账单,没给同一账期;讲稿里交付周期的改善,一处写 60%、一处写 70%。

参数量还有 7540 亿和 8000 亿两种说法。这些毛边不改变方向,但别人照着抄,容易踩坑。

按次收费这件事,正在被重算

Abitbol 最后给了句定性。开源现在是 Revolut 的优先项,账单是平的,月底没有惊吓,前沿模型成了例外。

这话对卖 token 的公司不太友好。

一家两千人的银行把主力编程负载搬进自己的机房,单价就从按量变成按卡,剩下的账绕不开采购和电费。

被重算的是定价方式本身。例外可以留,但例外越少,按次收费的理由就越薄。

0

评论区