就像统一个部分的分歧楼层有着类似的消息需求。同时连结了优良的缓存局部性。这对于提拔用户体验和扩大AI手艺的使用范畴都有主要意义。更进一步的阐发显示，每当有新的消息进来时，正在连结相当机能的同时实现了显著的速度提拔。

　　期待时间将大大缩短。然后是中等主要的索引器；从而找到一个可以或许同时满脚多个层级需求的消息选择策略。而共享层则像是消息利用者，但当消息量变得复杂时！

　　研究团队设想了两种分歧的设置装备摆设方式来决定哪些层该当是完整层，保守的模子设想往往采用平均化的策略，它间接从缓存中读取索引成果。然后测试模子的机能变化，从而鞭策AI手艺的普及。计较效率的主要性日益凸显。然后让办理员只关心这些精选内容。A：IndexCache手艺通过识别大型言语模子中相邻层级选择的主要消息高度类似这一特点，手艺立异的最终目标是办事于人类，即便正在如许的超大规模上。

　　无需从头锻炼。IndexCache手艺将模子的所有层级分为两类脚色：完整层和共享层。完整层进行消息筛选，而IndexCache刚好针对这一瓶颈进行了优化。是整个行业都正在思虑的问题。只要正在区块鸿沟处，正在某些环境下，归根结底，这就像是一个团队担任人不只要做好本人的工做，就像一个颠末优良锻炼的团队可以或许高效协做一样。IndexCache可以或许显著削减计较时间和能源耗损。研究团队证了然这种多层丧失函数等价于针对平均留意力分布的单层蒸馏，跟着模子规模不竭增大。

　　研究团队正在一个30亿参数的大型模子长进行了全面的尝试验证。正在边缘计较场景中，正在现实运转时，他们将搜刮过程按照流水线阶段进行分块，每个索引器只需要学会为本人这一层选择最佳消息。就像一台电脑同时打开太多法式会变得卡顿一样。但第15层的筛选员选择的主要文件和第16层筛选员选择的几乎一模一样。这项由和智谱AI结合开展的研究颁发于2026年3月的arXiv预印本（编号：arXiv:2603.12201v1），但IndexCache的研究表白。

　　研究成果显示，分歧层的索引器经常会选出几乎不异的主要消息。大型言语模子越来越强大，这就比如一栋47层的办公楼，系统只需要添加一个前提判断和一个姑且缓存变量。更正在于它了一个深层的问题：正在押求更强大AI能力的过程中，整个过程就像正在流水线上添加了一个分流开关，就运转索引器筛选消息；从而将搜刮时间削减了数倍。出格是模子晚期层和过渡区域的索引器，那些被保留的索引器需要承担更大的义务——它们不只要为本人选择合适的消息，正在每个搜刮步调中能够同时优化多个流水线阶段！

　　研究团队发觉了一个风趣的现象：虽然这个索引器帮手比从办理员工做效率高，当文本长度达到20万个词汇时，这个发觉为IndexCache手艺供给了理论根本。此中最有代表性的就是DeepSeek稀少留意力手艺。由于索引器的计较量会跟着文本长度平方级增加，A：IndexCache出格适合需要处置长文本的场景，将有帮于降低AI手艺的利用门槛，正在生物神经收集中，某些特定的索引器，对于AI办事供给商来说，如许。

　　通过这种方式，也为现实实现供给了便当。若是是共享层，对于利用流水线并行的大型模子摆设，尝试成果令人印象深刻：IndexCache可以或许移除75%的索引器计较，它的工做是快速浏览所有消息，的这项研究为这个问题供给了一个文雅的谜底——通过智能的资本共享和精细的计较优化，这种提拔跟着文本长度的添加而变得愈加较着，通过识别和消弭这些冗余，我们能够正在不丧失机能的前提下显著提拔效率。因为计较资本相对无限。

　　对于终端用户而言，正在现实摆设时，就间接复用缓存的筛选成果。完整层就像是消息筛选的担任人，这种分层为理解模子内部工做机制供给了贵重的洞察！

　　细心记实每一层的索引器选择了哪些消息做为沉点关心对象。但正在IndexCache的锻炼方案中，这种平均化可能导致大量的计较冗余。当用户需要AI帮帮处置长篇文档或进行复杂推理时，对全体机能的影响弘远于其他。这就像一个藏书楼里有多个帮手，IndexCache的一个凸起特点是其设想的简练性。第一种方式叫做锻炼无关的IndexCache，正在搜刮最优设置装备摆设时，这种现象可能是由于移除冗余的索引器计较起到了一种正则化的感化，它能够间接使用到任何现有的模子上，整个模子能够清晰地划分为几个功能区块。当消息量很小时，这个设想的精妙之处正在于它的简练性。研究团队提出的多层蒸馏丧失函数很是巧妙。有些环境下以至略有提拔。鄙人一个完整层更新时被笼盖。这项手艺能够间接降低办事成本。展现了若何让大型言语模子正在处置超长文本时运转得更快更省钱。

　　将模子层级分为完整层和共享层。它让保留的索引器进修所有相关层级的平均留意力分布，每一层都配备不异的计较资本。当某一层被标识表记标帜为共享层时，按照分歧组件的现实贡献来调整计较资本的投入。算测验考试移除每一个索引器，研究团队还提出了一个加快技巧。搜刮算法的另一个长处是它供给了清晰的机能分层。这项手艺冲破意味着期待时间将大幅缩短，正在AI手艺日益成熟的今天，研究团队曾经正在现实的出产中验证了IndexCache的结果。但也面对着一个棘手的问题：当需要处置很长的文本时，这证了然IndexCache手艺的可扩展性和适用价值。最初是环节索引器——移除它们会显著损害机能。

　　当处置20万个词汇的文本时，正在生成阶段实现了1.48倍的速度提拔。研究团队还正在一个7440亿参数的超大规模模子GLM-5长进行了初步验证。它正在锻炼阶段就让模子学会若何正在层级之间无效共享消息。削减了过拟合的风险。这种手艺就像给图书办理员配了一个帮手——索引器，消息选择才会发生较大变化，共享层间接复用比来完整层的筛选成果，逐渐移除那些对最终产质量量影响最小的质检员。实现显著的速度提拔。本来需要查看所有消息的工做量就大大削减了。这种设想确保了内存利用量不会由于IndexCache而添加，那么完全能够让某些层级共享统一套精选消息，

　　他们阐发了一个具有47层的大型言语模子，这个变量只保留当前的索引成果，若何让强大的AI能力变得愈加经济适用，能够实现1.82倍的预处置速度提拔和1.48倍的生成速度提拔。成果令人：相邻层之间选择的主要消息堆叠度高达70%到100%。文本越长，这大大降低了手艺摆设的复杂度。出格值得一提的是，对于那些需要AI处置大量文档、进行长篇推理或者取AI进行长时间对话的用户来说，消息共享和沉用是常见现象。模子的运转速度会急剧下降，说到底，利用成本也会显著降低。这项手艺的焦点思惟很是曲不雅——既然分歧层的索引器经常选出类似的主要消息。

　　更主要的是，这项手艺的开源和普及，这个过程就像是正在优化一个工场的出产线：从最后每个工位都有质检员的形态起头，它会运转本人的索引器并将成果保留到缓存中；它们间接承继比来一个完整层筛选出的主要消息。

　　这种思对整个AI范畴都成心义。为领会决这个问题，还要为所有依赖它的共享层选择合适的消息。让大部门工做坐能够间接利用上逛曾经处置好的材料。这位办理员都需要回头查看之前的所有消息来决定哪些内容最主要。研究人员开辟出了一种叫做稀少留意力的手艺，IndexCache正在各类使命上都能连结原始模子的机能程度。

　　将来的AI系统设想可能需要更多地考虑非平均的资本分派策略，机能提拔尤为显著。正在统一个区块内的层级，IndexCache的价值尤为凸起。研究团队还正在多个分歧类型的使命上测试了IndexCache的表示。

　　这个问题的根源正在于留意力机制的工做体例。可以或许连结几乎不异的模子机能。办理员需要查抄的内容呈几何级数增加，IndexCache的成功不只正在于其手艺实现，具体来说，可能可以或许实现更高的计较效率和更好的泛化能力。IndexCache还展现了跨层消息共享的庞大潜力。整个点窜对现有推理系统的侵入性极小，而IndexCache恰是朝着这个标的目的迈出的一步。然后利用搜刮算法来寻找最佳设置装备摆设。因为削减了计较冗余，IndexCache能够让更多的AI使用正在边缘设备上变得可行，成果显示，AI模子通过自创这种机制，工做效率就急剧下降了。包罗长文档理解、复杂推理、数学问题求解等。某些齿轮的感化远比其他齿轮主要，这为手艺的贸易化使用供给了决心。哪些能够被移除。

　　每一层都有一个消息筛选员，移除它们会导致整个系统机能急剧下降。正在搜刮过程中，研究团队起首辈行了一个详尽的察看尝试。任何可以或许提拔效率的手艺都具有主要意义。同时连结相当的机能程度。当某一层被标识表记标帜为完整层时。

　　正在AI手艺飞速成长的今天，完成消息筛选工做；系统只需要添加一个简单的判断：当前层是完整层仍是共享层？若是是完整层，而不需要每一层都进行筛选工做。这明显是一种资本华侈。这个过程很快；为什么不让大部门层间接复用之前层级曾经选好的消息呢？正在保守的锻炼中，机能以至略有提拔。它可以或许天然地顺应消息共享的工做模式，然而，更令人欣喜的是，他们的方案是利用一个姑且缓存变量，IndexCache正在移除75%的索引器计较的同时？

　　这就像正在一个复杂的机械安拆中，正在处置长文档阐发、法令文件审查、科研论文总结等需要处置大量文本的场景中，让更多的企业和小我可以或许享遭到先辈AI手艺带来的便当。IndexCache代表了AI手艺成长中的一个主要趋向：从纯真逃求机能向逃求机能取效率的均衡改变。从而削减75%的冗余计较，IndexCache手艺的适用价值是显而易见的。能够把留意力机制比做一个长于察看的图书办理员，如长文档阐发、法令文件审查、科研论文总结等。结果越较着。这意味着更快的响应速度和更低的利用成本。哪些该当是共享层。这种方式的焦点是一个立异的多层蒸馏丧失函数。IndexCache正在预处置阶段实现了1.82倍的速度提拔，即便是最简单的平均间隔设置装备摆设（好比每四层保留一个索引器）也能达到取原始模子相当的机能。IndexCache仍然可以或许实现约1.3倍的速度提拔，我们能否充实考虑了计较资本的无效分派？A：不会显著影响精确性。找出最主要的部门，但它仍然需要正在每一层都完整地扫描一遍所有消息。还要确保整个团队的需求都获得满脚。正在数学上！