LLM 推理：关键理念与局限性

推理是提升 LLM 能力的关键

介绍

• 对 AI 的期望：解决复杂的数学问题，发现科学理论，实现通用人工智能（AGI）。
• 基本期望：AI 应该能够通过少量示例模拟人类的学习方式。

关键概念

• 机器学习中缺少什么？
  • 推理：从最少的示例中逻辑推导出答案的能力。

玩具问题：最后字母连接

• 问题

  : 提取单词的最后一个字母并将其连接。

  • 示例："Elon Musk" → "nk"。

• 传统机器学习：需要大量标记数据。

• LLM：通过推理，只需一次演示即可实现 100% 准确率。

中间步骤的重要性

• 人类通过推理和中间步骤解决问题。
• 示例：
  • 输入："Elon Musk"
  • 推理："Elon" 的最后一个字母是 "n"，"Musk" 的最后一个字母是 "k"。
  • 输出："nk"。

推理方法的进展

1. 链式思维（CoT）提示
   • 将问题分解为逻辑步骤。
   • 数学文字题的示例展示了增强的问题解决准确性。
2. 从易到难提示
   • 将问题分解为更简单的子问题以逐步概括。
3. 类比推理
   • 从相关问题中调整解决方案。
   • 示例：通过回忆距离公式逻辑来找到正方形的面积。
4. 零样本和少样本链式思维
   • 在没有明确示例的情况下触发推理。
5. 解码中的自我一致性
   • 采样多个响应以提高逐步推理的准确性。

局限性

• 被无关上下文干扰
  • 添加无关细节会显著降低性能。
  • 解决方案：明确指示模型忽略干扰。
• 自我纠错的挑战
  • LLM 有时无法自我纠正错误，甚至可能使正确答案变得更糟。
  • Oracle 反馈对于有效纠正至关重要。
• 前提顺序重要
  • 重新排序问题前提会导致性能下降，强调逻辑进程的重要性。

实际影响

• 中间推理步骤对于解决连续问题至关重要。
• 像使用单元测试进行自我调试的技术对未来改进充满希望。

未来方向

1. 定义正确的问题对于进步至关重要。
2. 通过开发能够自主解决这些问题的模型来解决推理局限性。