引言：当大模型开始“一本正经地胡说八道”

大语言模型（LLMs）在自然语言处理领域取得了跨越式的进展，但“幻觉”（Hallucination）问题始终是其迈向工业级应用的“绊脚石”。所谓幻觉，是指模型生成了看似合理但实际上错误或与事实不符的信息。为了解决这一问题，研究者们尝试了提示工程（Prompt Engineering）和模型优化等多种方法，但这些方法往往难以改变模型的内部知识库，或者在跨领域泛化上表现不佳。

近期，一篇题为《Knowledge Injection Exists in MoE? Exploring Expert-Aware Contrast Decoding in MoE for Mitigating LLMs' Hallucinations》的论文（arXiv:2607.20426）引起了学术界的关注。该研究不仅揭示了混合专家模型（Mixture-of-Experts, MoE）中独特的知识分布规律，还提出了一种名为 EAACD 的创新解码算法，为缓解幻觉提供了新思路。

传统对比解码的局限与 MoE 的新发现

传统的对比解码（Contrastive Decoding）主要通过利用 Transformer 模型不同层之间的输出差异来识别并纠正幻觉。然而，这种基于“层”的方法在处理 MoE 架构时遇到了挑战。MoE 模型通过路由机制将任务分配给不同的“专家”（Experts），其内部结构远比传统的 Transformer 复杂。

研究团队通过实证研究发现：

1. 共享专家的局限性：在包含共享专家的 MoE 架构中，层与层之间的知识差异并不像传统模型那样显著。
2. 高层专家的异质性：尽管层间差异减弱，但在 MoE 的高层网络中，生成“事实性内容”与“非事实性内容”时，专家的激活模式（Activation Patterns）存在显著不同。

这意味着，缓解 MoE 幻觉的关键不在于“层”，而在于“专家”。

EAACD：专家感知自适应对比解码

基于上述发现，研究者提出了 EAACD (Expert-Aware Adaptive Contrast Decoding)。这一方法的核心逻辑是通过对比“高可靠性专家”和“低可靠性专家”的输出来校准最终的预测结果。

EAACD 的工作流程：

1. 专家分组：根据专家在特定任务上的置信度和一致性表现，将高层的专家划分为一个“高可靠性组”和多个“低可靠性组”。
2. 对比预测：将高可靠性组的预测结果作为正面参考，分别与各个低可靠性组的预测进行对比。通过这种差异化分析，模型能够识别出哪些 token 是由模型内部的“偏见”或“幻觉”产生的。
3. 幻觉放大（负面强化）：为了让对比效果更加明显，EAACD 采用了一种巧妙的策略——通过注意力机制（Attention）和掩码（Masking）技术，故意放大低可靠性专家的幻觉倾向。这样，低可靠性组就能提供更具代表性的“错误范本”，帮助模型更好地避坑。

实验结果：在 QA 任务上的卓越表现

研究团队在四个主流的问答（QA）数据集上对 EAACD 进行了测试。结果显示，EAACD 的性能全面超越了包括基础对比解码在内的多种基准模型。实验证明，该方法不仅能显著减少事实性错误，还能在不牺牲生成流畅性的前提下，提升模型对复杂问题的回答质量。

总结与展望

《Knowledge Injection Exists in MoE?》这篇论文为我们理解 MoE 模型的内部运作机制提供了宝贵的视角。EAACD 算法的成功，标志着幻觉治理正在从“外部干预”向“内部架构深度利用”转变。随着 Mixtral 等 MoE 架构的大模型日益普及，EAACD 这种针对性强的解码策略将具有广阔的应用前景。

未来，如何将这种专家感知的思路扩展到多模态模型或更长文本的生成中，将是值得持续关注的研究方向。