侧边栏壁纸
博主头像
HHShare 博主等级

行动起来,活在当下

  • 累计撰写 288 篇文章
  • 累计创建 36 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

27B 的模型不写字,只回概率:24G 的 Mac 就能跑

晖晖分享
2026-11-02 / 0 评论 / 0 点赞 / 0 阅读 / 0 字 / 正在检测是否收录...
温馨提示:
部分素材来自网络,若不小心影响到您的利益,请联系我删除。

Nace.AI 把 Drex Max v1 的权重放上了 Hugging Face,10 月 30 日改完最后一版。

模型卡第一行是三个数字:公开决策榜 67.52,视觉榜 73.92,第三方 Artificial Analysis 的决策指数 64。

它不写字。给一段上下文和几个带名字的问题,回来的是每个选项的概率,一次前向,中间没有解码循环。

64 分在 AA 那张决策榜上排第 4,一共 18 款。榜首 65,比它高 1 分;Claude Haiku 5.5 是 61,GPT-6 Luna 是 55。

说白了,这模型不写周报,回的是「这单该给谁」。

Hugging Face 模型卡首屏,官方自己报的 67.52 / 73.92 / 64

能不能上手,两个条件先摆出来。

一台 24GB 内存的 Mac 就够,跑 Q4 量化版,走 Kapitsa 或 MLX;48GB 的机器上 Q8,官方在 M5 Pro 上测出单次约 400 毫秒。

权重免费下,代码在 GitHub。许可证那道坎,后面单说。

一次前向,255 个选项一次算完

先看那 255 个选项是怎么来的。

最后一层的隐藏状态不喂给词表,喂给一个 255 路的读数头,出来就是概率。

同一份权重,三档机器三档跑法

少了解码那一段,延迟自然压到几百毫秒,机器也不用太强。

底子是 Qwen 3.5 那套结构。HF 的 config 里 architectures 写着 Qwen3_5Model。

64 层里 48 层线性注意力,每 4 层插一个全注意力。

那几个全注意力层是非因果的,每个 token 都看得见整段上下文,这也是它敢往 26 万 token 上顶的底气。

代价同样清楚。报告写不了,只能做选择题、打分、判是不是。

要出文字,还是得另请一个聊天模型。

还有个坑,别拿普通 chat 模板往上套。模型卡明说,按因果方式跑,那些分数复现不出来,踩坑的是自己。

默认上下文只有 16,384 个 token,要开到 262,144,得自己加环境变量重来一遍。

两张榜,一张是自己出的题

我们先把两张榜分开。

67.52 那个「公开决策榜」,是 Nace 自己做的题库,37 项基准、14 万条请求。

自家题库上的三个名字

跟自家上一代比,35B 的 Drex v2.0 是 61.25,小 8B 反而高出 6 分。

真正第三方的是 AA 那个 64 分,四项测试加权,第 4 名,前面三家挤在 65 上。

视觉这边分得更开,信息图表问答 97.3,票据字段抽取 92.4,网页元素定位 84.2。

换个方向就掉下来,专业图表推理 47.3,梗图内容审核 40.6。

看表格行,看画面里的图表不太行。

榜上的分是一回事,业务里见真章是另一回事。

公开视觉分项,强的和弱的差 56 分

Reddit 上 u/Puzzleheaded_Ad_8575 问得直接,这不就是拿个 27B 微调,再加个分类头?

底下 u/oxygen_addiction 回:都是。

发帖的是 Nace 团队的 u/m4rkGS,被追问细节时只说了句技术报告「coming soon」。

r/LocalLLaMA 原帖,19 个赞,13 条评论

权重给的是 v1,官网在卖 v1.1

去官网看,首页挂的是 Drex Max v1.1:决策指数 70.8,每次 172 毫秒,一千次决策 3 美分。

放出来的这版权重是 67.52、约 400 毫秒。

开源的是上一代,最新版留在自家云上卖。这套路数不新鲜,大厂早玩过。

再看许可证。名字叫 Nace.AI Open RAIL-M,不是 OSI 认可的开源协议。

附件 A 第 2 段的三条线

附件 A 第 2 段写了三条:过去 12 个月营收过 100 万美元、累计融资过 100 万美元、做跟它竞争的产品。

踩中任一条,就得单独找 Nace 买商业授权,联系邮箱都写好了。

个人用途和研究用途除外。爱好者随便跑,拿到 A 轮又想做成产品的团队,得先谈钱,最后买单的就是这批人。

Hugging Face 上一个月 192 次下载、22 个赞。

决策模型这条路能不能立住,接下来看两件事:有没有人肯把技术报告和评测口径摊开,开源阵营跟不跟。

手里有 24GB Mac 的,今天就能试,把攒了半年的工单丢进去,看派单分得对不对,比看榜有用。

0

评论区