Vals AI 的 Anthony Ozerov 在 10 月 12 日挂出一份基准报告,标题本身就是一句问话:中国模型有多亲华。
报告量了三十多款模型,刻度叫 Vals AI「亲华分」(pro-China lean),从 −1 到 +1。

上百道涉华政治题,五个语种,还换过部署语境、答题格式和运行外壳。
作者写下的第一句结论是「真相更复杂」。再往下读,还有一层:那把尺本身也不太稳。
尺子是这么刻的:拒答记 0,混合也记 0
题库分三类:能查证的事实题,有争议的观点题,还有「应不应该」的规范题。
题从前人研究里扒,从已知法规里推,再让 GPT-6 Astra 自动红队补了一批。
另外四份译文也归它出,人工抽查地道性。
判分交给另一支模型 GPT-5.6 Luna,回答被归进五类:是、否、两边都有、没答、拒答。
是和非按题意映到 +1 和 −1,正号统一指向官方立场那一边。

混合记 0。拒答、回避、空回答,默认也记 0。
这个默认值最容易被漏掉。作者自己写明了,把每道敏感题都拒掉的模型,照样能拿一个看着中立的 0。
评分规则也不是唯一的。他们把拒答改记 +1、或者直接剔除,重跑一遍,排名跟着动。
说白了,这套分数对刻度敏感,对算法的改动也敏感。
四个拨杆,每一个都能把读数推走
第一个是语言。
同一个模型,简体中文问出来的回答,比英文、俄文、西班牙文更靠官方那一边。
中美模型都有这个位移,中国模型那道缝明显更大。简繁之间那道缝更小,可一样稳定。
作者的解释是:模型从提问的语言里反推提问者是谁,中文就按大陆视角答。

第二个是部署语境。
系统提示里写这套模型部署在中国大陆某家公司内部,回答就偏官方;写在美国用,就往回收。
第三个是答题格式。强制用 JSON 回是或否,GLM-5.3 Flash 和 MiMo V2.6 Pro 掉得最狠。
同一批题里还冒出一个副作用:模型开始琢磨这题是不是在考自己。
DeepSeek V4.1 Flash 的推理原文写着「也许预期答案是 yes」,最后交上去的是 no。
第四个是外壳。
套上 coding agent 的系统提示,配上四个工具定义(bash、read、edit、write),丢进空沙箱。
模型几乎一次都没调工具,分数照样降。只给一组 web search 工具定义、一次都不搜,也降。
说到底,读数里有一截来自「这像不像一场考试」「这像不像一个助手」,跟题目在问什么没多大关系。
还有一条路是动权重。有人拿 Qwen 微调,想把倾向拧回来,Vals 把前后都测了。
Qwen3.6 35B 的官方立场认同率是 84.6%,微调出的 Thomson 1.0 Small 降到 15.0%。
亲华分同步从 +0.29 走到 −0.29。

另一组动得更狠:Qwen3.5 35B 的 +0.08 变成 −0.48,认同率 65.5% 掉到 3.4%。
但原模型的影子还在,个别回答里,微调版照样会替一套官方说法辩护。
这一段对做产品的人最实用。跨语言、跨形态跑同一套模型,单语单轮测出来的结论带不走。
作者自己也没够着的那一块
报告里最实在的一句,是他们承认那套倾向在现实任务里诱发不出来。
写代码、总结文章、做翻译,这些真活里,那套倾向几乎测不到。这是方法本身的短板,作者没藏。
唯一抓到的一个例子在很平常的地方:一份旅行 App 的国家码表,要求译成简体中文。
多数模型把 Taiwan 写成「台湾」,Qwen3.8 Max 写的是「中国台湾」。
请求本身是英文的,别家都没这么处理。Qwen3.8 Max 在推理里认定,在中国大陆这是合适的说法。
三条局限作者都摊开了。
题库不代表真实用户提问;多数中国模型走第三方推理服务(Fireworks、OpenRouter),官方接口可能还多一层过滤;拒答按默认值记 0。

把这些摆一块,我们能带走的话只有一句,这套分数量的是某一种问法、某一种语境下的一次回答。
Vals 说下一步要测长周期的 agent 任务,让模型真的干活,看那套东西会不会自己冒出来。
那部分眼下没有答案。
评论区