推测解码已经是 LLM 推理加速的工业标配，但它内部有个绕不过去的矛盾：想快，就要并行起草多个 Token；可并行起草时，后一个位置根本不知道前一个位置最终会选哪个词。
腾讯优图实验室联合上海交通大学、厦门大学提出的 DSpine 正是冲着这个矛盾去的。论文标题写得很直白——《Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding》，并行起草，通过深度建立条件关系。八个字概括方法：同时起草，逐层接力。
先解释一下背景。以 EAGLE-3 为代表的自回归草稿模型预测准，但每多猜一个 Token 就要多跑一步串行前向；受扩散语言模型启发的 DFlash 把草稿生成并行化，一次骨干前向就吐出整块候选，起草耗时大幅压缩。问题随之而来：并行起草时各位置独立选词，单独看概率都合理，拼在一起却可能前后矛盾，团队称之为后缀衰减。由于目标模型按从左到右的严格前缀顺序验证，中间一处接不上，后面算好的草稿全部作废。
已有方案要么把依赖注入留到骨干计算之后（如 Domino、DSpark 的轻量串行头），要么在骨干内部直接混合相邻隐状态（如 DFlash2 的局部卷积）。前者的问题是后继位置在特征形成阶段无法感知前驱倾向；后者把上下文信息与预测信号混为一谈。
DSpine 的两个实验发现直接决定了设计。其一，靠前位置的预测信号在浅层就已浮现：同深度下，块内靠前位置的 Token 预测准确率远高于靠后位置。其二，紧邻前驱不只「内容」关键，「注入越早」收益越大：即便更早的历史上下文完全正确，只要紧邻前驱变成存在偏差的草稿预测，后继预测准确率平均暴跌 31.8 个百分点；注入相同的可靠前驱特征时，浅层提前注入比延后注入准确率平均高出 14.8 个百分点。
方法由四块组成。统一传递空间： 利用目标模型冻结的 LM Head 输出嵌入矩阵，经归一化与 PCA 白化构造紧凑词元表，让「正在形成的预测特征」与「已选定的离散 Token」处在同一几何空间，可用同一条通路传递。逐层门控相邻注入： 草稿网络每层之后，位置 t 接收紧邻前驱 t-1 的预测特征，结合自身特征算门控，决定吸收多少并写回残差流；同层内所有位置仍完全并行，只是前驱线索参与后继下一层的计算。逐层输出嵌入监督： 每层注入后与真实目标 Token 的紧凑嵌入计算余弦方向对齐损失；团队发现若在中间层直接施加全词表交叉熵，接受长度反而下降。末层条件解码与转移缓存： 每个位置先选 Top-K 候选，把相邻位置候选组合的分数矩阵一次性并行算好，从左到右选词时只做查表，彻底消除逐位置串行矩阵乘。
数据上，Qwen3-4B 与 Qwen3-8B 在数学、代码、对话共七项基准、两种温度下的 28 组评测全部第一。Qwen3-8B 在贪心解码下七基准平均接受长度从 DFlash2 的 4.39 提升到 4.82；SGLang 端到端服务吞吐在两个模型共 40 组测试中全部第一，较 DSpark 平均提升 19.0%（8B）与 20.1%（4B），较 DFlash2 平均提升 11.1%（8B），相对标准自回归解码最高实现 4.01 倍加速。延迟拆解显示，五层注入每轮合计仅增加 0.15 毫秒，末层条件解码耗时不到串行头方案的一半。
面向 Agent 场景，团队另外训练了 Qwen3.8-27B 的 DSpine 草稿模型，约 2B 参数、5 层网络。在 SWE-bench Pro、τ²-bench 与真实办公场景的 WorkBuddy Bench 上，平均接受长度最高达 5.63，并发 8 条件下解码吞吐最高达自回归的 3.84 倍。
工程侧，推理实现已封装为轻量插件接入 SGLang，代码、草稿权重与项目主页均已公开，并已在腾讯 WorkBuddy 的线上推理业务落地。对自建推理栈的团队，这类「不改输出分布、只改解码路径」的方法风险最低；真正的考题是在自己的业务分布上重新测接受长度，而不是照搬榜单数字。