模子评测后的badcase处理是一门邃密活，不是通盘问题都该丢给模子覆按。本文将拆解badcase五大分类程序，揭见常识库失实、行径形式、作风偏好等不同问题的处理战略，并共享如何构建金标集达成可回顾的模子迭代闭环。从业务视角登程，带你看懂如何让模子信得过越变越好。

评测产出的badcase若何信得过喂回模子？哪些该训、哪些不该训、训了反而更糟的有哪些。

上一篇写了我若何重作念单轮和多轮的评测框架——L1致命失实一票否决、L2/L3分层扣分、多轮M1~M5五个专属维度。

但评测自身不创造价值，评测的产出必须能改变模子。不然即是每周开会打一遍分，模子迭代了一版又一版，业务侧仍是以为不行——各人都很忙，但产物莫得变好。

这一篇讲的即是后半段：标完一堆badcase之后，若何把它信得过形成下一版模子的最先。这部分是我跟大数据团队磨合最久的——不是因为他们不合作，是因为一启动各人对“什么badcase该训模子”的一语气就不相通。

一、闭环长什么样

这张图的中枢信息唯有一条：badcase不是一个桶，是五个桶，每个桶的处理边幅完全不同。

二、不是通盘badcase都该训模子

2.1常识库问题——都备不可训进模子

包括：事实失实、相接不可用、信息过期

我专门拿了10条标了”事实失实”的case复盘，发现7条是RAG调回错了对应文档，2条是常识库里那条数据自身就过期了，唯有1条算是模子”解放发扬”。

若是把这些case平直SFT进模子，等于让模子学会了一份自信但失实的常识。后果有两个

常识库后续就算改对了，模子仍是会按训进去的错版块回答

模子对我方学过的内容置信度更高，反而更不肯意触发RAG调回

正确作念法：

调回错→优化embedding/加省份过滤/改chunk切分

常识库错→走数据惩办历程，业务侧阐述后修正源数据

模子解放发扬→小数，但照实不错SFT，让它学“不细则就承认不知谈”

2.2行径形式问题——该SFT训

包括：暴力拒答、任务未闭环、无效反问、驴唇不对马嘴

这些是模子”行径民俗”层面的问题——它知谈常识，但不知谈该若何用。这是SFT的经典题材。举个最典型的例子：

原复兴（被打0分）：

“我是XX的销售助手，很对不起暂时未能找到与您的需求谈判的信息。”

改写后观点复兴：

“您说的这个咱们莫得平直对应的产物，不外雷同需求不错望望XX/也不错转东谈主工商榷，体球网2026世界杯赛事直播入口您要不要试试？”

蚁集50~100对这样的（原复兴/改写后复兴），作念一轮针对性SFT，效劳会有闪现改善。要道点：改写不是模子团队拍脑袋写，是业务侧来写。唯有业务侧知谈”在咱们的业务体系里，这个场景的最优复兴长什么样”。

2.3作风偏好问题——该DPO训，不该SFT

包括：冗余啰嗦、话术僵硬、排版重大

直观是”啰嗦了那就给它一个简略版块去学”，但本色上SFT一个”简略版”平庸会带来模子全体抒发智商的退化——它会矫枉过正地形成”字斟句酌”，丢失正本好的辅导性抒发。

正确的作念法是DPO（平直偏好优化）：给模子同期看（啰嗦版/爽气版），让它学的是两个版块之间的偏好相干，而不是只学其中一个。这样模子保留了抒发万般性，仅仅在”啰嗦vs爽气”这个维度上向你欲望的标的歪斜。

咱们刻下积存了八成200对作风偏好对，抢庄牛牛2026世界杯(中国)IOS/安卓官方下载分三类：

长度偏好（啰嗦版/爽气版）

语气偏好（公式化版/当然版）

结构偏好（活水账版/结构化版）

2.4一张总结表

先对着这张表分类，然后才谈判若何改。分类对了，处理边幅当然就明晰了。

三、评测集必须固定一份”金标集”

每次新版模子出来，必须跑一遍200~500条的金标集，对比上一版各维度分数变化。

我的金标集是这样构造的：

30%高频简便问（FAQ类，地板线）

40%中等业务场景（套餐/流量包/结尾/升值业务，主战场）

20%多轮复杂场景（指代+意图切换羼杂，天花板）

10%各类刁难（错别字、超长、夹杂方言、坏心绕过）

金标集要依期更新，但都备不可频繁更新。咱们的节律是每季度补充10%新case、淘汰5%过期case。若是每个月都换一批，归来测试就失去比较基准了——你始终不知谈是模子变好了，仍是题变简便了。

四、归来测试要看分项变化，不单看总分

新版上线前，不要看”总分擢升了3分”，要看：

4.1L1致命失实是不是清零了

没清零不让上。这是死线。

一个版块若是总分擢升了5分但L1失实还有3条，业务侧应该隔绝它。因为坐蓐环境下，1条L1失实（比如说错价钱、伪造相接）的抑止力渊博于100条L2失实。

4.2L2严重项的扣离别播有莫得变化

比如”任务未闭环”从38%降到20%——这是信得过挑升想的最先。

若是散播真实没动，仅仅总分升高了，那很可能是金标集里简便题答得更好了、艰巨没动——这种“分数擢升”是虚的。

开云体育2026世界杯中国官网

4.3有莫得出现新的扣分类型

新失实比老失实更危境。

最常见的即是：为了治”暴力拒答”，模子学会了”什么都给你推选两款产物”，终结”驴唇不对马嘴”的占比上来了。这种”按下葫芦浮起瓢”必须警醒。

4.4多轮M1~M5五个维度不可backward

许多模子微调单轮变好了，多轮反而崩了——必须分开看。

我见过一次很惨烈的：模子团队为了治单轮的”驴唇不对马嘴”，加强了模子的”主动话题辅导”智商，终结多轮的”凹凸文接收”分数掉了15个百分点。因为模子变得太”主动”了，不再老淳雄厚地围绕用户的上一循环答。单轮和多轮的归来评释必须分开出。

五、回流节律：不要每周训，要按版块节律走

频繁微调会让模子不踏实——每周一个版块，业务侧根柢来不足作念归来

小批量覆按样本噪声大——30条样本里若是有5条标注有偏差，影响会被放大

没法定位是哪批数据起的作用

当今的节律：

这个节律走下来，每次新版块上线，业务侧能明晰地说出来”这版比较上版，在哪些维度擢升了若干、有莫得新引入的问题”。而不是模子团队说”咱们又训了一版，你望望”，业务侧凭嗅觉点头或摇头。

六、回到阿谁原始问题

写这两篇著作之前，我问过我方一个问题：动作业务侧，我到底想要什么？

谜底是：我想要一套不错让模子迭代信得过变好的机制。不是评测漂亮的评释，不是95%的准确率抢庄牛牛2026世界杯(中国)IOS/安卓官方下载，是一套能让”用户体验”这件事可被意想、可被改变、可被回顾的工程闭环。