资料来源：DeepTech最近几个月，对可验证奖励（RLVR）进行加强的研究吸引了学术界越来越多的关注。与基于人类反馈（RLHF）（RLHF）（RLVR）的传统刺激加强所带来的高成本和人类偏见相比，通过引入自动奖励信号（例如对数学问题和热情的代码的常见答案），在一定程度上降低了对Manu批准的希望）。但是，其应用程序的范围受特定领域的限制，这些领域可以提供明确和可靠的奖励，从而将模型的应用程序限制在更广泛，更开放的方案中。最近，来自加利福尼亚大学伯克利分校（UCB）的研究团队带来了新的Pro Solutions，这是很多钱。他们提出了一种称为“ Intiture”的技术，该技术仅根据其“内部信心”提供了大型模型，而无需外部奖励或指南才能真正答案。相关论文已经发表在标题为“无外部奖励的研究推理”的预印杂志网站上，该网站很快引起了广泛的关注。从外部奖励的锁中释放 - 我们知道的RLIF和Intaitor的诞生，即使RLHF有效地提高模型的性能，它很昂贵，并且可能会引入偏见，因为它需要大量的宣传。近来，研究人员转向基于可靠的奖励的研究加强，该奖励使用自动证明的信号（例如，准确匹配的答案）作为解决数学问题和代码世代等活动的thoserewards。 RLVR避免了研究奖励模型的复杂性，并在诸如DeepSeek-R1之类的模型中证明了强大的概念能力。但是，RLVR也有一些局限性，需要特定于域的验证器和“标准”解决方案。例如，数学问题需要专家答案，并且生成代码需要全面的测试用例D实施环境。这些要求将RLVR应用程序限制在适当计划的域，而专门针对结果的奖励机制也限制了模型转移到其他域的能力。因此，大型模型是否仅依靠其内在信号来提高其能力的理解，而无需外部验证器或特定于域的事实值？这无疑是基于UCB研究团队提出的这个问题，它是“从内部评论中加强研究”的新框架。 LIF的主要思想是，模型可以通过优化其生成的自然信号而不依赖外部奖励或管理信息来提高性能。它为模型提供了一种自我改善机制，以产生超过人类评估能力的情况。在RLIF框架下，团队进一步提出了某种实施方法。使用模式是明智的L的“自信”是唯一的奖励信号，它是更准确的“自我赞助”。这个想法来自直观的亨廷加：无论是人还是大型模型，他们通常会在面临困难的问题或缺乏知识渊博的知识时表现出较低的信心。相反，当他们对推理的答案或过程更有信心时，他们的信心会更高，并且这种高信心通常与准确性相关。那么，如何衡量模型的“自决”？研究团队被吸引了他们在2025年2月出版的另一项重要任务，“可扩展的最佳模型语言最佳选择”。在这项工作中，他们建议使用模型输出令牌的可能性分布与平等分布之间的平均KL变化来衡量自决。照片|如果模型确定其预测的下一步标记，则简单地放置了相关论文（原始论文：Arxiv）（即，可能性非常集中在某些方面令牌），因此其输出分布将远非统一的分布，并且KL变化的成本将更大，这意味着高自决。在从许多候选答案中选择高质量的答案时，该测量程序已被证明非常有效，而不是诸如损失或熵之类的其他启发式启发式的答案，而不太容易出现因素，并且随着候选人答案的增加，其有效性可能会提高其有效性。 Intaitor直接将此自决标记作为增强过程中的奖励信号，并结合了现有的成熟研究算法，例如优化相对策略优化（GRPO）来指导模型策略更新。 INGRPO算法，通常需要外部奖励来评估一组候选输出的利弊；在整体中，外部奖励完全被模型本身计算的自决标记所取代。通过这种方式，模型激发了产生输出使自己“更自信”，从而在没有外部管理的情况下实现了学习和推理技能的提高。 “信心”可能意识到复杂的推理以证明完整性的有效性，研究团队进行了一系列实验。他们使用QWEN2.5-1.5B和QWEN2.5-3B作为数学数据集中训练的主要模型。实验结果发现，在数学基准的领域（例如GSM8K和Math500）的领域，Intititor的执行与外部奖励的用户相当。尽管在某些情况下（例如使用QWEN2.5-3B模型），但GSM8K Intitude的准确性达到了79.2％，略低于GRPO的82.6％，但在Math500中为61.2％，少于GRPO的63.6％。图丨比较GSM8K，MATH，LCB，CRUXEVAL-O，MMLU-PRO和ALPACAEVAL基准测试（来源：ARXIV）研究团队的各种方法的性能比较。CH真正依赖符号的投票价值。结果表明，整体性能与GRPO-PV相当，这进一步证明了其在非监控环境中的学习能力。完整的最大优势是，商人的能力通常是。当将在数学数据数据集中训练的QWEN2.5-3B模型应用于LiveCodeBench Generation的工作时，Intuitor的相对性能提高了高达65％。尽管在CruxeVal-O代码的工作中，intaitor也获得了76％的增长，这显着优于GRPO方法，该方法仅获得44％的增益，这也没有显示出代码生成工作的显着改善。这可能表明，通过优化自然的自决信号，该模型不仅可以在训练领域产生发展，而且还可以将学习的“元认知”能力转移到全新的新结构，这些结构是不同的活动。照片|在数学500数学（域）和livecodebench（迁移）（来源：ARXIV）进行培训的模型的性能演变外，研究还显示了整体对模型行为的深刻影响。例如，与基准上的GRPO相比，构成可以显着提高符合模型教学的技能，并取得更好的成果，以检查教学合规性（例如Alpacaeval）。这意味着该模型不仅学会了如何解决“自信”问题，而且还学会了如何更好地理解和执行指令。研究团队观察到，该模型受到完整训练，尽管没有明确的要求，但它也会自愿产生更长，更结构化的推理链。例如，在与CruxeVal Tasks-O进行交流时，该模型首先会在调整FI之前执行“自由思考”内在语言形式NAL回答说明所需的JSON格式。在代码的一代工作中，观察到了类似的“代码之前自然语言推理”的现象。这种行为表明，为了增强自己的“确定性”，该模型倾向于分解复杂的问题并更彻底地思考，这是复杂推理能力的重要显示。此外，在研究的早期阶段，受过训练的助理的模型比GRPO显示出更快的学习速度，这可能是由自决性引起的，这是一种连续且学习过程的固有的固有奖励，可指导该模型探索更有效的研究轨迹。另一个重要的发现是自我确定对自我辅助的机制（即，在模型方法出现时修复的奖励信号）可以有效地避免“奖励黑客攻击”问题。在研究强化时，如果奖励模型是静态的，则方法是El可以轻松地在奖励模型中找到弱点，并提出一些令人难以置信的输出 - 尺寸但实际质量差。实验比较表明，如果使用固定的（离线）自决的评分设备，则该模型将通过开发冗余内容来迅速学习“骗”评分设备，从而导致性能崩溃。在线整体机制避免了这个问题，并确保培训的稳定性和稳定性。 Xuandong Zhao是与UCB的AI论文和博士后同伴的人之一，他与Kanthat社交媒体分享了研究过程。赵在他的推文中指出，研究骨头始于去年秋天，当时本科生Zhewei Kang主动与他联系以与研究合作。它们从两个主要观察开始：一个正在测试中，人们经常回答人们对自己更准确地信心的问题；剩下的是，大型模型还可以显示这种“信心”模式？ Th受到他们对“自我赞助”概念的探索的启发。照片|相关的推文（Origin：X）他们发现，随着样本量的增加，现有的启发式和混乱等现有的启发式问题，例如输出长度灵敏度，偏见和可扩展性差。因此，他们提出了一个基本的观点：测量每个令牌与平等分布的输出分布之间的距离，即上述KL变化，这是“自决”建议的基础，并诞生了2月在“启用可扩展的NA通过自我确定选择”中的角色。完整的是，这一系列研究思想的自然扩展和加深，这使自我确定的标准从选择了驱动整个增强过程的自然奖励的答案中得出了自我确定性。如果这种方法有效，它可以为实践更加自主和多功能AI系统提供一个好主意。潜力的新途径。通过消除强大的reliancE在外部奖励和人类管理方面，预计该助理将显着降低培训成本，并在缺乏或难以发表评论的新地方实现AI thatexplore和学习。一些网民评论说：“如果有效，我们将在其他领域看到与编程和数学相同的开发类型。”照片|相关评论（原点：x）第二，尿技术的成功表明，在我们以前知道之前，预培训的大型模型可能具有更丰富的隐式行为。这些先前的知识和能力可以通过激励措施的适当机制“锁定”和“形状”，从而反映出理解和分类的惊人功能。此外，RLIF框架和自决的想法是本研究提出的奖励奖励，也可能对AI系统的未来建设具有重要意义，该系统可以使自我尴尬甚至克服人类能力。当AI系统开发时选择直到其能力取决于人类评估，基于内在的一致性和自决的研究机制将很重要。但是，当前的实验主要集中在相对较小的模型和数据集上，并且需要扩展到较大尺寸的基本模型和更多不同的现实世界数据以进行将来的验证。例如，一些研究人员担心“奖励使用”和“崩溃模型”可能是大型模型的潜在障碍。照片|相关评论（原点：X）实际上，在扩展到大型模型的整体时，该团队在研究中发现了新的问题（Qwen2.5-7band qwen2.5-14b）。他们指出，最初的训练方法将导致大型模型严重崩溃。通过减轻系统信号，组织研究率并增加样本响应的数量，研究过程达到了初始稳定性（团队强调这些设置是“首先，无关pts“而不是全面的超级参数全面）。但是，如果要避免使用较大模型的奖励，复杂的超参数调整和验证现实价值的验证最终仍在依赖，则在“不需要的外部奖励”方面的主要好处可能会削弱。 1.https：//www.arxiv.org/pdf/2505.195902.https：///x.com/xuandongzhao/status/19272709318749102593.https：//arxiv.org/pdf/pdf/2502.18581858185818185818181858181818181818181812.18581.