2025-06-11 k8凯发天生赢家一触即发集团

k8凯发天生赢家一触即发人生|班长说满分就可以上他|传统符号语言传递知识太低效？

　　k8凯发娱乐★★✿ღ，凯发·k8官方网站★★✿ღ，k8凯发首页★★✿ღ，论文第一作者谭宇乔来自中国科学院自动化研究所的自然语言处理和知识工程研究组★★✿ღ，导师为何世柱老师★★✿ღ。目前研究方向主要在利用大语言模型参数知识增强大模型能力★★✿ღ。

　　人类的思维是非透明的k8凯发天生赢家一触即发人生★★✿ღ，没有继承的记忆★★✿ღ，因此需要通过语言交流的环境来学习★★✿ღ。人类的知识传递长期依赖符号语言★★✿ღ：从文字★★✿ღ、数学公式到编程代码★★✿ღ，我们通过符号系统将知识编码k8凯发天生赢家一触即发人生★★✿ღ、解码★★✿ღ。但这种方式存在天然瓶颈★★✿ღ，比如信息冗余★★✿ღ、效率低下等★★✿ღ。

　　现如今k8凯发天生赢家一触即发人生★★✿ღ，大语言模型（LLM）就主要模仿这一套范式来学习和传递知识★★✿ღ。然而★★✿ღ，与人脑不可知和不透明的特性不同★★✿ღ，开源 LLM 的可访问参数和信息流则像一个透明的大脑班长说满分就可以上他★★✿ღ，直接编码了事实知识★★✿ღ，已有的研究对其进行了系统分析★★✿ღ、精确定位和有效转移★★✿ღ。因此研究人员提出疑问★★✿ღ：大模型能否像《阿凡达》中的人类和纳威人之间建立传递知识的练习？其中在天然存在的较大 LLM 和较小 LLM 对之间展开班长说满分就可以上他★★✿ღ，将参数知识作为媒介★★✿ღ。

　　最近★★✿ღ，中国科学院自动化所提出对 Parametric Knowledge Transfer (PKT★★✿ღ，参数知识迁移) 的全面分析★★✿ღ。一句话总结★★✿ღ：跨规模大模型之间的表现相似和参数结构相似度都极低班长说满分就可以上他★★✿ღ，这对实现有效的 PKT 提出了极大的挑战★★✿ღ。

　　论文首先通过简单的前置实验★★✿ღ，挖掘出参数空间的对齐是实现参数知识迁移的必要条件★★✿ღ。现有的参数对齐方法Seeking通过梯度定位部分较大 LLM 参数以适配较小 LLM 张量形状★★✿ღ，将其初始化为 LoRA 矩阵通过后续微调实现迁移★★✿ღ，称之为后对齐参数迁移方法（Post-Align PKT）★★✿ღ。论文为了更全面探索 PKT 是否可行★★✿ღ，根据对齐时机提出先对齐知识迁移（Pre-Align PKT）新范式★★✿ღ，采用定位后对齐（Locate-then-Align★★✿ღ，LaTen）方法实现参数对齐★★✿ღ。

　　该方法的核心理念是首先通过神经元级别的归因分析★★✿ღ，识别出与特定任务相关的参数★★✿ღ，然后利用训练得当的超网络★★✿ღ，将较大 LLM 的知识映射到较小 LLM 上★★✿ღ。

　　知识提取★★✿ღ：通过分析大模型的参数★★✿ღ，识别出与目标任务相关的知识★★✿ღ。这一过程利用静态神经元归因方法★★✿ღ，计算出每个神经元在任务中的重要性★★✿ღ，从而选择出最具信息量的参数进行迁移★★✿ღ。参数对齐★★✿ღ：一旦确定了重要参数★★✿ღ，接下来通过轻量级的超网络进行对齐★★✿ღ，确保这些参数能够有效整合到小型模型中★★✿ღ。参数注入★★✿ღ：这一过程强调在对齐后直接注入参数★★✿ღ，减少了后续训练所需的资源和时间★★✿ღ。

　　通过上述流程★★✿ღ，就可以将较大模型中的参数知识转换为在较小模型中可受用的知识进而进行注入★★✿ღ，以避免参数空间的差异性导致的性能丢失★★✿ღ。

　　在实验部分★★✿ღ，研究者针对多个基准数据集★★✿ღ，涵盖世界知识（MMLU）k8凯发天生赢家一触即发人生★★✿ღ，数学推理（GSM8K）和代码能力（HumanEval 和 MBPP）进行了详细评估★★✿ღ。

　　对于 Post-Align PKT★★✿ღ，论文将其同利用 SVD 从模型自身获取 LoRA 的 PiSSA 方法对比★★✿ღ，结果发现 PiSSA 在相同设置下优于 Seeking★★✿ღ，证明从较大模型抽取的参数知识不如利用模型自身知识作为 LoRA 初始化★★✿ღ，进一步怀疑其可行性★★✿ღ。对于 Pre-Align PKT★★✿ღ，结果显示★★✿ღ，只需要极少的训练步数和数据开销★★✿ღ，LaTen 能有效取得性能提升★★✿ღ。但是 Pre-Align PKT 通过训练实现参数对齐的方式受到极大限制★★✿ღ，无法超越较大 LLM 的能力上界★★✿ღ，同时训练不太稳定★★✿ღ，没有明显收敛★★✿ღ。

　　此外★★✿ღ，论文从另一个方面来验证目前阶段的 PKT 是否有效★★✿ღ。既然假设迁移的参数知识中包含了有用的特定任务的知识★★✿ღ，那么在特定任务上表现更好的模型★★✿ღ，理应在迁移后能让小模型的性能更好★★✿ღ。因此★★✿ღ，研究者在代码任务上开展了这一探索实验★★✿ღ：

　　实验结果证明了两种 PKT 在这种设置下的失败班长说满分就可以上他★★✿ღ，让人疑惑为什么跨规模 PKT 无法有效实现？

　　PKT 的核心任务在于对齐（Align）★★✿ღ，不管是通过后续训练还是提前通过超网络实现k8凯发天生赢家一触即发人生★★✿ღ，是否能有效实现对齐是 PKT 成功的关键★★✿ღ。从现有实验结果来看★★✿ღ，PKT 并没有有效实现对齐★★✿ღ，那么阻碍的关键在哪？

　　对于表现相似度的分析★★✿ღ，论文采用了中心核对齐（Centered Kernel Alignment, CKA）方法★★✿ღ，该方法基于 Hilbert-Schmidt 独立性准则（HSIC）★★✿ღ，用于计算神经网络中特征表示的相似性★★✿ღ。该指标评估了两个模型之间行为的相似性★★✿ღ，可以视为大语言模型的行为相似性★★✿ღ。

　　如图 4 所示★★✿ღ，Llama2-7B 和 13B 之间的相似性较低k8凯发天生赢家一触即发人生★★✿ღ，尤其是在多头自注意力（MHSA）模块中★★✿ღ，该模块在信息整合中扮演着至关重要的角色★★✿ღ。有趣的是★★✿ღ，上投影层的相似性较高班长说满分就可以上他★★✿ღ，这可能是因为它们作为关键记忆★★✿ღ，捕捉特定的输入模式★★✿ღ，而这些模式通常在不同模型间是一致的★★✿ღ。跨规模大模型之间的低相似性也解释了为何从同一模型衍生的 LoRA 表现更好k8凯发天生赢家一触即发人生★★✿ღ，因为它与模型的内在行为更为贴合★★✿ღ。证明跨规模大语言模型之间的表示相似性较弱是导致神经不兼容性的关键因素之一★★✿ღ，这使得理想的参数知识转移成功变得困难★★✿ღ。

　　人类从牙牙学语到学贯古今★★✿ღ，通过语言和文字在历史长河中不断汲取知识★★✿ღ，通过吸收和迭代实现知识的传承★★✿ღ。

　　然而★★✿ღ，我常幻想能实现★★✿ღ，类似科幻小说中三体人直接通过脑电波传递所有知识★★✿ღ，或利用一张链接床就能把人类的意识输入到纳威人体内★★✿ღ，这是一种更理想的知识传递方式★★✿ღ，而开放的大模型参数正有可能实现这一点班长说满分就可以上他★★✿ღ。

　　通过将 PKT 根据 Align 进行划分★★✿ღ，我们完成了对现有阶段 PKT 的全面研究★★✿ღ，找出了实验结果欠佳的背后是不同规模大模型之间参数知识本质上的行为和结构的差异★★✿ღ。