侧边栏壁纸
博主头像
HHShare 博主等级

行动起来,活在当下

  • 累计撰写 288 篇文章
  • 累计创建 36 个标签
  • 累计收到 1 条评论

目 录CONTENT

文章目录

同一道题,换个问法分数就变:Vals 的「亲华分」先晃了

晖晖分享
2026-11-02 / 0 评论 / 0 点赞 / 0 阅读 / 0 字 / 正在检测是否收录...
温馨提示:
部分素材来自网络,若不小心影响到您的利益,请联系我删除。

Vals AI 的 Anthony Ozerov 在 10 月 12 日挂出一份基准报告,标题本身就是一句问话:中国模型有多亲华。

报告量了三十多款模型,刻度叫 Vals AI「亲华分」(pro-China lean),从 −1 到 +1。

Vals AI 原文标题页:How pro-China are Chinese models?

上百道涉华政治题,五个语种,还换过部署语境、答题格式和运行外壳。

作者写下的第一句结论是「真相更复杂」。再往下读,还有一层:那把尺本身也不太稳。

尺子是这么刻的:拒答记 0,混合也记 0

题库分三类:能查证的事实题,有争议的观点题,还有「应不应该」的规范题。

题从前人研究里扒,从已知法规里推,再让 GPT-6 Astra 自动红队补了一批。

另外四份译文也归它出,人工抽查地道性。

判分交给另一支模型 GPT-5.6 Luna,回答被归进五类:是、否、两边都有、没答、拒答。

是和非按题意映到 +1 和 −1,正号统一指向官方立场那一边。

一把 −1 到 +1 的尺,怎么判出那个数

混合记 0。拒答、回避、空回答,默认也记 0。

这个默认值最容易被漏掉。作者自己写明了,把每道敏感题都拒掉的模型,照样能拿一个看着中立的 0。

评分规则也不是唯一的。他们把拒答改记 +1、或者直接剔除,重跑一遍,排名跟着动。

说白了,这套分数对刻度敏感,对算法的改动也敏感。

四个拨杆,每一个都能把读数推走

第一个是语言。

同一个模型,简体中文问出来的回答,比英文、俄文、西班牙文更靠官方那一边。

中美模型都有这个位移,中国模型那道缝明显更大。简繁之间那道缝更小,可一样稳定。

作者的解释是:模型从提问的语言里反推提问者是谁,中文就按大陆视角答。

四个拨杆:语言、语境、格式、外壳

第二个是部署语境。

系统提示里写这套模型部署在中国大陆某家公司内部,回答就偏官方;写在美国用,就往回收。

第三个是答题格式。强制用 JSON 回是或否,GLM-5.3 Flash 和 MiMo V2.6 Pro 掉得最狠。

同一批题里还冒出一个副作用:模型开始琢磨这题是不是在考自己。

DeepSeek V4.1 Flash 的推理原文写着「也许预期答案是 yes」,最后交上去的是 no。

第四个是外壳。

套上 coding agent 的系统提示,配上四个工具定义(bash、read、edit、write),丢进空沙箱。

模型几乎一次都没调工具,分数照样降。只给一组 web search 工具定义、一次都不搜,也降。

说到底,读数里有一截来自「这像不像一场考试」「这像不像一个助手」,跟题目在问什么没多大关系。

还有一条路是动权重。有人拿 Qwen 微调,想把倾向拧回来,Vals 把前后都测了。

Qwen3.6 35B 的官方立场认同率是 84.6%,微调出的 Thomson 1.0 Small 降到 15.0%。

亲华分同步从 +0.29 走到 −0.29。

微调前后:认同率 84.6% 对 15.0%

另一组动得更狠:Qwen3.5 35B 的 +0.08 变成 −0.48,认同率 65.5% 掉到 3.4%。

但原模型的影子还在,个别回答里,微调版照样会替一套官方说法辩护。

这一段对做产品的人最实用。跨语言、跨形态跑同一套模型,单语单轮测出来的结论带不走。

作者自己也没够着的那一块

报告里最实在的一句,是他们承认那套倾向在现实任务里诱发不出来。

写代码、总结文章、做翻译,这些真活里,那套倾向几乎测不到。这是方法本身的短板,作者没藏。

唯一抓到的一个例子在很平常的地方:一份旅行 App 的国家码表,要求译成简体中文。

多数模型把 Taiwan 写成「台湾」,Qwen3.8 Max 写的是「中国台湾」。

请求本身是英文的,别家都没这么处理。Qwen3.8 Max 在推理里认定,在中国大陆这是合适的说法。

三条局限作者都摊开了。

题库不代表真实用户提问;多数中国模型走第三方推理服务(Fireworks、OpenRouter),官方接口可能还多一层过滤;拒答按默认值记 0。

三条局限,全在作者自己的正文里

把这些摆一块,我们能带走的话只有一句,这套分数量的是某一种问法、某一种语境下的一次回答。

Vals 说下一步要测长周期的 agent 任务,让模型真的干活,看那套东西会不会自己冒出来。

那部分眼下没有答案。

0

评论区