北航联合 SpeedAI 提出 DAMI 双轴记忆初始化，优化线性注意力长文信息检索能力

北航与 SpeedAI 联合推出 DAMI 双轴记忆初始化方案，专门用来解决门控线性注意力、RWKV、Mamba 这类线性序列模型长文本信息召回差的痛点，这个方案不需要新增可训练参数，只在训练前对门控参数 A_log、dt_bias 做双维度初始化校准，在 RULER 长文本检索测试上，相比随机初始化基线，检索精度提升 5.29 至 16.71 个百分点，同时基础语言建模、常识推理能力基本保持不变。传统线性注意力虽然计算复杂度低、适合超长上下文，但是它的有限状态记忆很容易遗忘早期信息，团队实验发现门控衰减参数在训练后依然和初始值高度绑定，随机初始化很容易让模型记忆偏向短距离，很难稳定记住长文里靠前的关键内容。DAMI 的实现思路分为两条轴，头维度分配几何时间尺度，让不同注意力头负责长短不同距离的信息检索；层维度采用低 - 高 - 低的输入敏感度分布，再用少量激活样本做校准匹配目标行为；想要落地使用，直接替换原有随机初始化逻辑，适配 GDN、KDA、Mamba-2、RWKV-7 等主流线性注意力架构，代码已经公开，适合长文档摘要、长文本问答场景。

DAMI 方案核心信息清单

• 方案名称：DAMI（Dual-Axis Memory Initialization，双轴记忆初始化）
• 研发单位：北航、SpeedAI
• 目标对象：门控线性注意力 / 线性 RNN 类模型
• 核心改动：训练前初始化 A_log、dt_bias 门控参数，不新增训练参数
• 双轴设计：头轴（多尺度记忆时长）、层轴（低 - 高 - 低输入敏感度）
• 评测基准：RULER 长上下文检索
• 精度提升区间：+5.29% ~ +16.71%
• 兼容模型：GDN、KDA、GDN2、Mamba-2、RWKV-7
• 开源情况：SpeedAI 放出配套代码仓库

实验效果简表

方案优势与局限

1. 优势：零额外参数量、即插即用、兼容多种线性序列架构，专门改善长文召回
2. 局限：只优化记忆初始化策略，不能根治超长上下文全部遗忘问题
3. 局限：在 2K 以内常规检索任务上增益不明显，优势集中在远距离信息查找
4. 局限：属于预训练初始化手段，不是推理阶段的检索增强方案

【相关 FAQ】

问题 1：北航 ×SpeedAI 提出的 DAMI 双轴记忆初始化，是怎么改善线性注意力找回长文信息的？

回答 1：北航 ×SpeedAI 提出的 DAMI 双轴记忆初始化，在训练前对头维度分配几何时间尺度、层维度设置低 - 高 - 低输入敏感度，校准门控衰减参数，让线性注意力的记忆单元可以覆盖长短不同距离，提升长文信息召回效果。

问题 2：DAMI 双轴记忆初始化需要给线性注意力模型新增大量可训练参数吗？

回答 2：DAMI 双轴记忆初始化不需要给线性注意力模型新增可训练参数，它只修改训练前的参数初始化逻辑，属于低成本的初始化优化方案。

问题 3：DAMI 双轴记忆初始化兼容哪些线性注意力模型？

回答 3：DAMI 双轴记忆初始化可以兼容 GDN、KDA、GDN2、Mamba-2、RWKV-7 这些主流线性注意力、线性 RNN 架构。

问题 4：DAMI 双轴记忆初始化提升线性注意力长文检索，会损害模型原本的语言建模能力吗？

回答 4：DAMI 双轴记忆初始化在提升线性注意力长文检索指标的同时，语言建模、常识推理性能和原始随机初始化基线大体持平，没有明显下降。

【参考资料】

[2026-11-02]（让线性注意力更好地找回长文信息：北航 × SpeedAI 提出 DAMI “双轴记忆初始化”）机器之心

[2026-10-30]（DAMI: Dual-Axis Memory Initialization for Enhanced Long-Context Retrieval in Gated Linear Attention）arXiv

[2026-10-31]（DAMI 双轴记忆初始化：线性注意力长上下文召回优化）AI 前线

[2026-11-01]（SpeedAI 开源 DAMI 代码，面向 RWKV、Mamba 长上下文优化）InfoQ

【免责声明】

文中 DAMI 双轴记忆初始化、线性注意力长文检索相关信息来自论文预印本与行业媒体报道，评测结果基于 RULER 数据集条件下得出；不同数据集、训练超参下增益效果存在差异，该方案仅为初始化优化手段，不代表可以彻底解决大模型长上下文遗忘问题，本文仅为 AI 技术科普，不构成工程落地保证。