INTRA Paper Deck — Outline
1. 封面 / 标题
- Role: cover
- Message: 注意力机制本身就是检索器
- Visual: 中央一个 attention 聚焦符号（放大镜光锥投射到 “INTRA” 标牌），背景是 T5Gemma2 架构的微缩轮廓
- Text: “INTRA: Retrieval from Within” / “NVIDIA, 2026” / “arXiv:2605.05806”
2. 传统 RAG 的问题
- Role: context
- Message: RAG 将检索和生成分离到不同表示空间，造成根本性 mismatch
- Visual: 左侧标准 RAG pipeline（检索器→文本→重编码→生成器），右侧一个大红叉或断开符号标注 “表示空间不匹配”
- Text: “检索空间 ≠ 生成空间” / “BM25 / Dense / 重编码”
3. 核心洞察：Attention = Retrieval
- Role: mechanism
- Message: Cross-attention 的 query-key 匹配与检索的 query-document 评分是同一个操作
- Visual: 中央放大一个 cross-attention 模块，query 方向 chunk 方向射出评分射线，标注 “MaxSim(qℓ, kᵢ)“，底部写一句话公式
- Text: “注意力 = 查询条件化的匹配+加权” / “跨表示层 → 跨表示空间”
4. INTRA 方法总览
- Role: method
- Message: INTRA 框架：两次 Decoder 前向传播统一检索与生成
- Visual: 水平流程：Query → Encoder（预编码全部 chunk）→ ① Decoder 检索前向传播（评分所有 chunk）→ Top-n 选中 → ② Decoder 生成前向传播（答案）。用蓝色强调第一次，暖色强调第二次
- Text: “① 检索 Pass: sᵢ = Σₗ αₗ · MaxSim(qₗ, kᵢ)” / “② 生成 Pass: y = Dec(x, K(S_INTRA))“
5. 三级检索策略
- Role: mechanism
- Message: 从粗到精：Encoder 粗筛 → Decoder reranking → 全语料 INTRA 评分
- Visual: 三级漏斗渐进强调。第一级标注 Top-16 (ColBERT-like)，第三级加星标注 “可选出 S₀ 之外的 chunk”
- Text: “S₀: Encoder-side MaxSim” / “Rerank: Decoder 重排” / “INTRA: 全语料评分”
6. 核心公式
- Role: method
- Message: INTRA 的三条核心公式：检索得分、训练目标、推理
- Visual: 三块干净公式卡片，等宽排列。上方标注各公式的角色
- Text: “sᵢ = Σₗ αₗ · MaxSim(qₗ, kᵢ)” / “ℒ = −1/|𝒪(x)| Σ log(softmax(s)ⱼ)” / “y = Dec(x, K(S_INTRA))“
7. 实验结果
- Role: evidence
- Message: INTRA 在 Multi-hop QA 上全面超越强基线
- Visual: 紧凑数据表（4 个数据集 × 3 个对比方法），采用 journal 论文图的灰白间隔条纹。INTRA 行用蓝色高亮 + 星标
- Text: “HotPotQA / 2Wiki / MuSiQue / NQ” / “INTRA vs Qwen3+Reranker vs BM25”
8. 总结与展望
- Role: takeaway
- Message: 注意力机制本身就是检索器——不需要外部检索模块。但同时有架构依赖和存储成本
- Visual: 左侧三行核心贡献（bullet），右侧三行局限（灰色）。底部标注：“代码未公开 · 可基于 T5Gemma2 + CLaRa 复现”
- Text: ”✅ 统一检索与生成” / ”✅ 仅 0.1% 参数训练” / ”✅ Multi-hop 领先” / “⚠️ Encoder-Decoder Only” / “⚠️ 存储 ~2.5TB/1B tokens”