开云体育

这项由三星询查院的Avinash Amballa、Yashas Malur Saidutta、Chi-Heng Lin、Vivek Kulkarni和Srinivas Chappidi指挥的询查发表于2025年12月的arXiv预印本平台，论文编号为arXiv:2512.12072v1。有兴味深入了解的读者不错通过该编号查询齐全论文。

当你使用ChatGPT或其他AI用具生成大量文本时，是否堤防到一个奇怪的气候：岂论你怎么要求，生成的内容老是显得千人一面，短缺信得过的千般性？就像一个只会作念一说念菜的厨师，不管你点什么，端上来的老是那几个熟悉的口味。这个问题困扰着通盘AI询查界，因为短缺千般性的教授数据会让AI模子变得"偏食"，无法搪塞复杂多变的现实天下。

三星询查院的科学家们堤防到了这个问题的严重性。他们发现，现时大讲话模子在生成合成数据时存在一个致命缺陷：即使赈济千般采样参数，比如提高"温度"让AI愈加"随即"，或者在请示词中明确要求"请生成千般化的内容"，AI仍然会堕入所谓的"模式坍缩"陷坑，就像一个东说念主走路时老是民俗性地走归并条道路一样。

为了措置这个难题，询查团队开导了一套名为VOYAGER的立异框架。这个名字的遴荐很挑升念念，它开端于一个灵活的类比：把AI比作一支探险队，而数据生成过程就像是在未知大陆上进行探索。在这个譬如中，每个"探险者"认真探索数据天下的不同区域，中央招引站认真判断新发现的区域是否弥散新颖和有价值，若是发现的区域与已知区域过于相似，就会被拒却，探险者需要赈济道路去寻找信得过未知的范围。

VOYAGER的中枢立异在于它平直优化了一个数学量来计算数据集的千般性，这就像是给探险队配备了一套精准的测量用具来判断新发现区域的价值。更遑急的是，这套技艺都备不需要修改AI模子自己的参数，这意味着它不错应用于那些咱们无法取得里面结构的"黑盒"AI模子，比如GPT-4这么的生意模子。

一、探险队的贤慧：用数学技艺计算千般性

在传统的探险故事中，探险队长需要在舆图上标记也曾探索过的区域，确保队员们不会重叠探索归并派地盘。VOYAGER摄取了近似的念念路，但用的是愈加精准的数学用具。

询查团队发现了一个遑急的数学旨趣：若是把数据集合的每个数据点想象成多维空间中的一个点，那么这些点组成的"体积"就能很好地反应数据集的千般性。体积越大，诠释数据点永诀得越永诀，千般性就越高；体积越小，诠释数据点齐集在一说念，千般性就越低。这就像是在一个房间里摆放产品，若是总共产品都挤在一个边缘，那么愚弄的空间体积就很小；若是产品永诀摆放在房间的各个边缘，愚弄的空间体积就很大。

为了计较这个"体积"，询查团队借用了一个叫作念"行列式点过程"的数学用具。这个名字听起来很复杂，但其实认识很简便：想象你要从一堆珠宝中挑选一套首饰，你天然会遴荐那些形式、神色、大小都不疏通的珠宝，这么搭配起来更有档次感。行列式点过程等于这么一个"挑选机制"，它会自动偏好那些互彼此异较大的数据点。

这种数学技艺的优好意思之处在于，它不仅概况计算千般性，还能指导遴荐过程。当探险队发现了新的区域后，系统不错自动计较若是加入这个新区域，通盘已探索区域的总体积会增多若干。若是增多得弥散多，诠释这个新发现很有价值；若是险些莫得增多，诠释这个区域与已知区域过于相似，应该被拒却。

询查团队还提供了表面讲授，解释了为什么这种基于体积的技艺概况灵验地计算数据集的千般性。他们讲授了数据集的"灵验秩"（不错相识为数据集合信得过寥寂信息的数目）与数据相似性矩阵的行列式之间存在数学关系。简便来说，等于体积越大，寥寂信息就越多，千般性就越高。

二、探险者的进化：如何让AI学会探索新范围

在VOYAGER的探险譬如中，每个探险者都有我方的"探索指示"，这颠倒于给AI的请示词。当一个探险者复返的发现被判定为价值不高时，中央招引站不会简便地叮嘱归并个探险者重叠一样的任务，而是会对探险者进行"培训"，让他学会遁藏已知区域，专注探索信得过的未知范围。

这种"培训"过程摄取了一种叫作念"文本梯度"的立异期间。梯度这个认识在机器学习中很常见，就像爬山时的指南针，告诉你应该往哪个标的走才能更快到达山顶。但传统的梯度需要平直修改模子的里面参数，这对于黑盒模子是不能能的。文本梯度微妙地绕过了这个限制，它平直在文本层面进行"梯度下落"。

具体来说，当一批生成的数据被拒却后，系统会让一个专门的AI分析师来分析失败的原因。这个AI分析师就像一个教导丰富的探险照拂人，它会仔细检察被拒却的数据和已有的数据，找出为什么新数据短缺千般性的具体原因。比如，它可能会发现重生成的故事老是围绕一样的主题，或者使用了过于相似的写稿作风。

基于这些分析，系统会生成"变调提议"，就像给探险者的新指示。这些提议会被整合到原始的请示词中，创造出一系列变调的探索指示。这么，下一轮的探险者就概况遁藏已知的"陷坑"，专注于寻找信得过新颖的数据区域。

这个过程的好意思妙之处在于它的自适应性。每当探险失败时，系统都会学习并变调，就像一个越来越有教导的探险队长。而且通盘过程都是在文本层面进行的，不需要任何模子教授或参数赈济，这使得它不错应用于任何类型的大讲话模子。

三、锚点系统：如何高效料理已探索的范围

在简直的探险活动中，探险队不能能记取每一寸探索过的地盘，他们通常会树立一些要津的锚点或地标来代表已探索的区域。VOYAGER摄取了近似的计谋，神往一个固定大小的"锚点集聚"来代表也曾探索过的数据区域。

这个锚点系统措置了一个遑急的计较着力问题。若是每次判断新数据的价值时都要与总共已生成的数据进行比较，那么跟着数据集范围的增长，计较资本会急剧增多。就像一个典籍料理员，若是每次添加新书时都要查验藏书楼里的每一册书，这显著是不现实的。

锚点系统的职责方式是这么的：系统永远神往一个包含固定数目（比如10个）高质地代表性数据点的集聚。当新数据被生成时，系统只需要计较这个新数据与锚点集聚的相似性，而不是与总共历史数据的相似性。这大大减少了计较量，但仍然概况灵验判断新数据的千般性价值。

更微妙的是锚点的更新机制。当新的有价值数据被接纳后，系统需要决定是否将其加入锚点集聚，以及若是锚点集聚已满，应该移除哪些旧的锚点。这里再次用到了行列式点过程的数学用具。系统会从候选的锚点中遴荐一个子集，使得这个子集的总体积最大，从而确保锚点集聚永远代表着最具千般性的数据永诀。

这种锚点遴荐计谋确保了两个遑急特质：领先，锚点集聚永远保捏高度的代表性，概况笼罩已探索数据空间的主要区域；其次，锚点之间保捏适当的距离，幸免了冗余，每个锚点都代表着数据空间中一个独到的区域。

四、算法的运作经过：探险队的日常职责

VOYAGER的齐全职责经过就像一个组织神圣的探险队的日常功课。通盘过程是迭代的，每一轮迭代就像探险队的一次出征。

在每轮迭代运行时，系统会从现时的探险者队列中遴荐几个去奉行探索任务。每个被选中的探险者会使用我方的探索指示（请示词）让大讲话模子生成一批新数据。这就像是叮嘱探险者去特定标的寻找新的地舆特征。

当探险者复返时，中央招引站（算法中枢）会逐个评估他们带回的每个发现。对于每个新数据点，系统计较它相对于现时锚点集聚的"边际增益"——也等于若是把这个数据点加入锚点集聚，总体积会增多若干。若是这个增益跳跃了预设的阈值，诠释这个发现弥散新颖，会被接纳并加入到最终的数据集合；若是增益太小，诠释这个发现与已知区域过于相似，会被拒却。

当一个探险者的大部分发现都被拒却时，系统觉得这个探险者确现时计谋有问题，需要从头培训。这时，文本梯度机制会启动，AI分析师会分析失败的原因，生成变调提议，然后创建新的探险者来替代泄露欠安的探险者。

在每轮迭代终局时，系统会更新锚点集聚。总共新接纳的数据点都会被加入候选池，然后使用行列式点过程从中遴荐最具代表性的子集手脚新的锚点集聚。同期，系统也会再行生成的探险者中遴荐最有后劲的几个手眼下一轮的探索队列。

这个过程会捏续进行，直到生成了弥散数目的千般化数据，或者达到了预设的最大迭代次数。通谋划法的遐想确保了每一轮迭代都执政着更高千般性的方上前进，同期保捏了计较着力和实用性。

五、实验考据：探粗暴果的丰硕成绩

为了考据VOYAGER的灵验性，询查团队遐想了全面的实验，就像锻练一个新的探险技艺是否的确能发现更多未知范围一样。他们遴荐了六个不同类型的文本生成任务进行测试，涵盖了创意写稿和逻辑推理两大类别。

在创意写稿类别中，询查团队测试了四个任务：体育主题的单句生成、政事话题的短对话生成、诗歌创作，以及电影情节遐想。每个任务都有其独到的挑战性。比如体育句子生成看似简便，但要生成信得过千般化的体育关系句子，需要涵盖不同通顺技俩、不同角度的描摹、不同的抒发作风等。政事对话生成则愈加复杂，需要平衡不同不雅点，幸免内容过于相似或偏向单一态度。

在逻辑推理类别中，团队遴荐了小学数常识题生成和逻辑谜题创作两个任务。这些任务的挑战在于既要保证生成内容的逻辑正确性，又要确保弥散的千般性。比如数常识题可能波及加减乘除、几何图形、应用题等不同类型，每种类型又可能有不同的难度档次和抒发方式。

为了客不雅评估千般性，询查团队摄取了三种不同维度的评价谋划。第一种是词汇千般性，使用Jaccard距离计算不同文本在词汇遴荐上的互异性；第二种是语义千般性，通过余弦距离计算文本在语义空间中的永诀情况；第三种是Vendi分数，这是一个详细性的千般性谋划，概况捕捉数据集的举座千般性水平。

实验驱散令东说念主印象深切。在总共测试任务中，VOYAGER都权贵非凡了传统的基线技艺。与简便的默许生成技艺比较，VOYAGER在Vendi分数上平均擢升了296%。即使与泄露最佳的档次化请示技艺比较，VOYAGER仍然竣事了43%的擢升。这就像一支使用了新探险期间的队列，发现的新范围面积比传统队列多出两到三倍。

更遑急的是，VOYAGER在擢升千般性的同期并莫得放置生成内容的质地。询查团队使用AI裁判员对生成内容的质地进行评估，发现VOYAGER生成的内容在关系性、连贯性、创意性等方面都保捏了很高的水准，有些任务以至略有擢升。

在计较着力方面，VOYAGER也泄露出色。天然它需要进行多轮迭代和复杂的千般性计较，但总的大讲话模子调用次数通常比传统技艺更少。这是因为VOYAGER的智能化筛选机制幸免了大量无效的重叠生成，就像一个教导丰富的探险队概况更平直地找到想法一样。

六、深度分析：为什么探险计谋如斯灵验

为了深入相识VOYAGER为什么概况取得如斯好的效果，询查团队进行了详备的消融实验。这就像拆解一台精密机器，逐个锻练每个组件的作用。

第一个遑急发现是对于千般化探险者遴荐的价值。询查团队比较了两种计谋：一种是像VOYAGER那样智能遴荐具有千般性的探险者队列，另一种是随即遴荐探险者。驱散涌现，智能遴荐计谋不仅产生了更高的千般性分数，还减少了约30%的大讲话模子调用次数。这诠释千般化的探险者队列照实概况更高效地探索数据空间，幸免了不消的重叠就业。

第二个要津实验锻练了文本梯度机制的作用。询查团队树立了一个对照实验：在疏通条目下，一组使用文本梯度进行探险者变调，另一组禁用这个功能，只使用疏通的探险者重叠奉行任务。驱散涌现，使用文本梯度的版块具有权贵更低的数据拒却率，何况概况在更少的迭代次数内完成任务。

这个驱散止境真理，因为它展示了VOYAGER的自适应学习才调。莫得文本梯度的版块就像一个死板的探险者，即使发现现时道路无效，仍然坚捏走一样的路；而有文本梯度的版块则像一个明智的探险者，概况从失败中学习，赈济计谋去寻找信得过的未知区域。

询查团队还考据了VOYAGER生成数据的实验应用价值。他们使用VOYAGER生成的数常识题数据集教授了两个不同范围的讲话模子（Gemma-2B和Gemma-7B），然后在圭臬的GSM8K数学测试集上评估性能。驱散涌现，使用VOYAGER生成数据教授的模子权贵优于使用传统技艺生成数据教授的模子。更惊东说念主的是，仅使用500个VOYAGER生成的样本教授的模子，其性能就概况匹敌使用1000个传统技艺样本教授的模子。

这个发现具有遑急的实用真理，它标明千般化的教授数据不仅在表面上更好，在实验应用中也能带来权贵的性能擢升。就像养分平衡的饮食概况促进体魄健康一样，千般化的数据概况让AI模子变得愈加"健康"和"雄厚"。

七、表面基础：探险技艺的科学旨趣

VOYAGER的奏效不仅体面前实验驱散上，更遑急的是它树立在坚实的数学表面基础之上。询查团队详备发扬了为什么基于体积的千般性度量是灵验的，以及为什么行列式点过程是竣事这种度量的联想用具。

中枢的表面知悉在于数据集千般性与其相似性矩阵的行列式之间的数学关系。询查团队讲授了一个遑急的引理：数据集的灵验秩（反应寥寂信息的数目）不错通过相似性矩阵的行列式来近似。具体来说，若是将相似性矩阵的行列式开n次方（n是数据集大小），再与矩阵迹的比值相乘，就能得到灵验秩的神圣猜想。

这个数学关系解释了为什么最大化行列式概况擢升数据集的千般性。行列式在几何上代表了数据点在高维空间中组成的"平行多面体"的体积。当数据点互相相似时，它们在空间中齐集在一说念，组成的体积较小；当数据点千般化时，它们永诀永诀，组成的体积较大。因此，最大化体积等价于最大化千般性。

行列式点过程的引入措置了平直优化行列式这个NP费事问题。天然找到信得过最优的数据子集在计较上是不能行的，但行列式点过程提供了一个优雅的近似措置有谋划。它界说了一个概率永诀，使多礼积更大的子集有更高的被选中概率。这种随即化计谋既保证了解的质地，又使得计较变得可行。

询查团队还分析了VOYAGER的计较复杂度。算法的主要计较支拨来自两个方面：边际增益的计较和行列式点过程的采样。边际增益不错通过瞻望算柔软存逆矩阵来优化，使得每次计较的时刻复杂度为O(k?)，其中k是锚点集聚的大小。行列式点过程的采样时刻复杂度为O(k?)，这在k较小（通常为10-20）时是都备可接纳的。

通谋划法的总时刻复杂度为O(T×b×(k?+|B|×k?)+T×b?)，其中T是迭代次数，b是探险者数目，|B|是每次生成的批次大小。这个复杂度在实验应用中是可控的，止境是比较于朴素的技艺（需要O(l?)的时刻，l是最终数据集大小），VOYAGER在大范围数据生成时具有显著的着力上风。

论断

说到底，VOYAGER代表了AI数据生成范围的一次遑急打破。它微妙地将探险队的组织贤慧与严格的数学旨趣相招引，创造了一个既实用又表面上站得住脚的措置有谋划。

这项询查的真理远远超出了期间自己。在咱们日常与AI交互的过程中，千般性问题其实无处不在。当咱们要求AI写稿助手帮手生成多个版块的案牍时，当教学职责者需要AI生成千般类型的熟悉题时，当内容创作家但愿AI提供不同作风的创意点子时，咱们都会靠近一样的挑战：如何确保AI的输出信得过具有千般性，而不是万变不离其宗的重叠。

VOYAGER提供的措置念念路具有泛泛的适用性。它不需要从头教授AI模子，不需要造访模子的里面参数，以至不需要了解模子的具体架构。这意味着岂论是OpenAI的GPT系列、谷歌的Bard，如故其他任何大讲话模子，都不错通过VOYAGER的框架来改善其输出的千般性。

更深档次地看，这项询查揭示了一个遑急不雅点：AI的才调不仅取决于模子自己的复杂进程，更取决于咱们如何微妙地使用它们。VOYAGER就像是一个教导丰富的管弦乐队招引，它不改变每个乐器的本色，但通过经心的协长入指导，让通盘乐队演奏出愈加丰富多彩的乐章。

从更无边的视角来看，VOYAGER的奏效也反应了现时AI询查的一个遑急趋势：不是简便地追求模子范围的扩大，而是通过算法立异和智能计谋来开释现存模子的后劲。这种技艺愈加环保，愈加经济，也愈加可捏续。

天然，VOYAGER也有其局限性。面前它主要专注于文本生成任务，对于多模态数据的处理还有待进一步询查。同期，如安在保证千般性的同期更好地适度生成内容的特定属性，亦然一个值得探索的标的。

归根结底，VOYAGER为咱们展示了AI系统遐想的一种新念念路：通过模拟天然界中奏效的组织模式（如探险队的配合），招引严格的数学旨趣，咱们不错在不增多计较资源的前提下，权贵擢升AI系统的性能。这种"仿生+数学"的遐想玄学，可能会在将来的AI询查中泄露更遑急的作用。

对于普通用户来说，VOYAGER的出现意味着咱们很可能在不久的将来就能享受到愈加千般化、愈加立异的AI服务。岂论是在内容创作、教学培训，如故在文娱应用方面，咱们都能期待AI为咱们带来愈加丰富多彩的体验。毕竟，千般性不仅是AI系统的期间谋划，更是咱们东说念主类生涯的基本需求。

Q&A

Q1：VOYAGER的中枢旨趣是什么，为什么比传统技艺更灵验？

A：VOYAGER的中枢旨趣是将AI数据生成过程比作探险队探索未知范围。它通过数学技艺计较数据集的"体积"来计算千般性，使用行列式点过程遴荐最具代表性的数据点手脚"锚点"，并通过"文本梯度"期间让AI学会遁藏已探索的区域，专注寻找信得过新颖的内容。这种技艺比传统技艺灵验是因为它平直优化千般性谋划，而不是简便赈济采样参数。

Q2：VOYAGER需要从头教授AI模子吗？

A：都备不需要。VOYAGER是一个"教授无关"的框架，它不需要修改AI模子的里面参数，也不需要造访模子权重。这意味着它不错平直应用于任何大讲话模子，包括GPT-4这么的黑盒生意模子。通盘过程只在文本层面进行，通过智能的请示词遐想和数据筛选来擢升千般性。

Q3：使用VOYAGER生成的千般化数据有什么实验克己？

A：询查涌现，使用VOYAGER生成的千般化数据教授的AI模子性能权贵更好。在数常识题测试中，使用VOYAGER数据教授的模子比使用传统技艺的模子准确率擢升了约28%。更遑急的是，仅用500个VOYAGER样本就能达到1000个传统样本的教授效果，这意味着更高的数据着力和更低的教授资本。