analysis

INTRA Paper Deck — 输入分析

主题

INTRA (INTrinsic Retrieval via Attention): 证明预训练 attention-based 模型的注意力机制本身就具备检索能力，无需外部检索器。

目标受众

NLP/ML 研究人员、RAG 系统工程师、对检索+生成统一框架感兴趣的技术人员

汇报场景

论文组会 / Reading Group 分享 / 技术研讨会

一句话主张

注意力的 query 匹配机制本身就是检索信号——不需要独立的 retriever。

3-5 个核心点

1. 注意力 = 检索 — Cross-attention 的 query-key 比对与检索的 query-document 匹配是同一种操作
2. INTRA 框架 — Decoder 两次前向传播：第一次检索评分，第二次基于选中 chunk 生成
3. 轻量训练 — 仅 4K retrieval tokens + 12 个层权重，0.1% 参数，decoder 冻结
4. 表示空间对齐 — 检索和生成共享 T5Gemma2 的表示空间，消解了传统 RAG 的 mismatch
5. Multi-hop QA 领先 — 在 HotPotQA/2Wiki/MuSiQue 上超越 BGE/Qwen3-Embedding + Cohere Reranker

推荐方案

• 页数: 8 页（标准组会长度）
• 风格: journal-minimal（学术汇报最合适）
• 语言: 中文（界面文字简洁，核心术语保留英文）
• 需要生成的图像类型:
  • 封面页 ×1（概念图）
  • 对比图 ×1（INTRA vs RAG）
  • 机制图 ×2（Attention as Retrieval + 三级检索）
  • 流程图 ×1（训练与推理）
  • 数据页 ×1（结果表）
  • 核心公式页 ×1
  • 总结页 ×1