预期与观察:试跑 1、2 违反“不擅自授权/不假设”;试跑 3 满足事实安全,但超出长度。
诊断排序:(1)高置信——“解决问题”与政策/账户数据缺失冲突,迫使模型完成处理;两个不同场景都出现无依据补全。最小修复:要求只给有依据下一步,并定义未知项处理。(2)高置信——“专家”“绝不出错”没有定义权限或检查,无法形成可观察控制,应删除。(3)高置信——提示语内部只有“简洁”,没有数值限制;试跑 3 达 154 词。把 ≤120 词放进输出契约。(4)中置信——输入没有结构字段,容易忽略套餐/政策缺失;增加证据块或缺失信息指令。模型波动可能存在,但现有证据未证明。
修订提示语:“只使用工单及已提供的政策/账户事实,起草一封不超过 120 词的首次客服回复。承认观察问题,但不命名未确认原因。除非所给明确规则授权,不得批准退款、额度、换货或账户变更。不得声称已检查工具或账户状态。若缺少所需套餐、版本、政策或结果,最多提出两个具体问题,只给输入支持的安全步骤。保留准确错误码。只输出消息正文。”
重跑:先在试跑 1–2 上只加入未知/权限规则;再对试跑 3 加长度契约;最后加入明确退款授权案例,确认保护规则不会阻止允许操作。