辩论与评审模式:生成者-批评者与多智能体辩论
前置知识
一句话定义
辩论与评审模式通过「生成者产出、批评者挑错、(可选)裁判裁决」的结构化对抗来提升答案的事实性与推理质量,其有效性建立在批评视角与生成视角的错误不相关这一前提上。
直观类比
论文投稿流程:作者写稿(生成者),两位审稿人独立提意见(批评者),主编综合意见做取舍(裁判)。审稿人不是来「捧场」的,制度设计保证了他们挑刺的动机。
为什么重要
单 Agent 自我批评(Self-Refine 类)的有效性受限于「自己难发现自己盲区」;引入独立视角的批评者是 LLM 系统里最便宜的制衡手段。Du 等人的多智能体辩论实验显示:多个智能体各自作答、互相看对方答案后多轮修订,在事实性与算术推理上显著优于单模型作答。
前置知识
kp-005(批评者同样需要角色卡:审什么、按什么标准、输出什么);kp-004(独立性前提与成本模型)。
核心概念
- 生成者(Generator / Solver):产出候选答案或方案;
- 批评者(Critic / Reviewer):依据明确评审标准(Rubric)指出缺陷,不重写答案;
- 裁判(Judge):在分歧中裁决,或综合修订建议产出最终版(LLM-as-Judge 的角色化用法);
- 辩论轮次(Round):生成者与批评者交换意见的迭代次数,成本随轮数线性增长;
- 多智能体辩论(Multi-Agent Debate, MAD):多个地位平行的求解者互相看答案并多轮修订,最后由裁判或投票定论。
原理与机制
制衡的收益来自错误不相关:批评者与生成者的盲区不同(不同提示框架、不同检索上下文、最好不同模型),才能发现对方看不见的错。工程上有三条保住独立性的纪律:批评者在看到答案前先独立形成自己的判断(避免锚定);批评者的上下文不包含生成者的推理过程(只看结论与依据,防止被说服);生成者不拥有「接受/拒绝」批评的最终权(由结构而非模型决定何时收敛)。变体谱系:单生成者-单批评者的迭代评审(最便宜)、红队-蓝队对抗(安全测试)、N 路辩论加裁判(最贵、用于高风险决策)。收敛控制必须外置:轮数上限 + 分歧度阈值(裁判判定「已无实质分歧」)。
图示
┌──────────── 生成者(G) ────────────┐
答案 v1 │ │ 修订 v2(吸收有效意见)
▼ │
批评者C1 ─┐ 各自独立评审, 互相看不到意见 │
批评者C2 ─┼─▶ 裁判J: 汇总意见→判定分歧度 ──────┘
│ │分歧仍大: 进入下一轮(≤上限)
│ └分歧收敛或达上限: 输出终稿+意见归档实例或案例
市场分析报告评审:写作智能体产出带引用的报告;两个批评者分别持「数据核对」与「逻辑链条」角色卡独立评审——数据批评者逐条核对引用来源,逻辑批评者检查结论是否被前提支撑且互不交换意见;裁判合并去重意见并打回写作智能体修订。一轮成本约为生成成本的 3 倍,换来引用错误率显著下降,对对外发布场景值得。
公式或模型
设生成答案含错误数为 E,批评者 j 独立检出其中错误的比例为 qⱼ(检出率),K 个独立批评者后残留错误期望 E·Π(1-qⱼ)。例:E = 10,q₁ = q₂ = 0.5 → 残留 2.5 条;若两批评者高度相关(q 同源),残留接近 E·(1-0.5) = 5 条。独立性把残留错误从 5 压到 2.5——这个算式解释了为什么「两个相似的批评者」约等于一个。
常见误区
- 误区一:批评者看了生成者的推理链再审。 锚定效应使批评退化为附和,独立判断必须前置;
- 误区二:让生成者决定是否采纳批评。 当事人自裁等于没有制衡,收敛判定必须交给裁判或外置规则;
- 误区三:辩论适合一切任务。 开放式创作缺公认标准,辩论易空转;简单任务上多轮辩论是纯浪费(成本随轮数线性涨,呼应 kp-004)。
与其他知识点的关系
kp-009 的投票假设任务有客观答案,辩论则处理「需要论证质量」的任务,二者可先辩论后投票;批评者输出的结构化缺陷清单是 kp-022 重试策略的输入;裁判角色是 kp-024 中 LLM-as-Judge 的应用场景。
自测题
- 保住批评独立性的三条纪律是什么?
要点:先独立判断再互看;不共享推理过程只看结论依据;收敛判定权不在生成者手中。
- 两个检出率各 50% 但高度相关的批评者,残留错误期望是多少?
要点:约 E·(1-0.5) = 0.5E,相关性使第二人几乎不新增检出。
- 辩论模式与投票模式的适用分界?
要点:有客观答案用投票(kp-009),质量依赖论证用辩论;可组合为先辩论收敛再投票定论。
延伸阅读
Du 等人的多智能体辩论论文是本模式的实证基础;Madaan 等的 Self-Refine 展示了「单智能体自批评」这一退化基线,可用作对照。