文献来源
论文:SimpleDesign: A Joint Model for Protein Sequence and Structure Codesign作者: Jiarui Lu, Yuyang Wang, Yizhe Zhang, Jiatao Gu, Navdeep Jaitly, Joshua M. Susskind, Miguel Ángel Bautista机构: Mila、Université de Montréal、Apple发表:Transactions on Machine Learning Research,2026 年 8 月导读
蛋白质生成正在从单独生成序列或结构,走向序列–结构联合建模。但 ESM3、DPLM2 一类多模态蛋白语言模型通常需要先把连续三维结构压缩成离散结构 token,再训练生成模型;另一条路线则采用 SE(3) diffusion、flow matching 等专门的几何生成框架。SimpleDesign 提出了一个更直接的问题:如果直接在原始数据空间中联合处理离散氨基酸和连续
坐标,是否已经足够?
它给出的方案非常克制:序列使用 masked discrete generation,结构使用连续 flow-matching 式速度场学习,两者拥有独立时间变量,却在一个 Transformer 中通过联合 self-attention 交互。实验显示,这种单阶段、无结构 tokenizer 的模型明显优于或接近已有多模态 PLM,但在结构一致性上仍落后于 MultiFlow、La-proteina 等专门几何生成模型。论文真正值得关注的,不是又刷新了一个 protein design benchmark,而是它对当前蛋白多模态模型中的一个重要工程假设提出了挑战:复杂的结构离散化和专门几何架构,可能并非构建有效序列–结构联合模型的必要前提。1. 为什么这篇论文值得关注?
蛋白设计存在两个天然耦合的变量:氨基酸序列
与三维结构
。序列决定折叠能景观,而结构反过来约束什么样的序列能够稳定存在,因此真正理想的生成模型应该学习联合分布
,而不是简单执行 sequence
structure 或 structure
sequence 的单向映射。
难点在于,两种模态的数据类型完全不同。序列是长度为
的离散 categorical tokens,结构则是一组连续三维坐标。ESM3、DPLM2 等多模态 PLM 的典型做法,是先训练结构 tokenizer 或 d-VAE,把连续结构变成类似语言 token 的离散符号,再统一进入语言模型;MultiFlow、JointDiff 等方法则直接建模离散残基和连续几何变量,但通常需要专门设计 diffusion/flow、SE(3) 几何变量甚至等变网络。作者认为,这两条路线都可能把问题做得过于复杂。
SimpleDesign 因此选择了第三条路线:不把结构离散化,也不重新设计一套高度专门化的几何生成架构,而是把 amino-acid token 与连续
坐标直接交给 Transformer,在原始数据空间中端到端学习。作者明确强调,论文并不是要证明这种方法普遍优于 geometric flow,而是要验证 structure tokenization 对竞争力足够强的序列–结构共设计是否真的不可或缺。
2. SimpleDesign到底在学习什么?
模型的数据可以写为
。其中
是 20 种标准氨基酸组成的序列,而
仅保存每个残基的
坐标。最终目标是学习
从而同时生成彼此一致的序列和结构。
SimpleDesign最关键的设计其实不是网络,而是为序列和结构各自定义一个生成时间,再将二者独立采样。令序列时间为
,结构时间为
:当
、
时,序列接近完整而结构接近噪声,相当于 folding;当
、
时,结构接近完整而序列大面积 mask,相当于 inverse folding;二者中间区域则要求模型同时恢复两个模态,对应真正的 codesign。论文第 5 页 Figure 2 用一个二维时间平面非常直观地展示了这一点。
这意味着模型并非训练三个独立任务,而是在同一个二维 corruption space 上自然覆盖 folding、inverse folding 和 co-design。3. 方法细节:SimpleDesign为什么这么“简单”?3.1 序列:Masked diffusion式离散生成
序列侧采用时间相关的随机 masking。对每个残基独立决定是否 mask,mask 概率为
:
因此
时序列接近完全被遮盖,而
时接近真实序列。模型只在被 mask 的位置预测原始 amino acid,并使用 cross-entropy 监督;论文还引入
的时间权重,以降低极高 mask rate 样本对训练的影响。
本质上,这一部分很接近 masked diffusion language model:模型不是自回归地从 N 端逐个写出残基,而是在不同噪声水平下学习如何恢复缺失序列。3.2 结构:不做结构Tokenizer,直接学习连续速度场
结构部分更加关键。作者没有把蛋白骨架编码成 structural tokens,而是从高斯噪声
与真实
坐标之间建立线性插值:
于是从噪声到数据对应一条简单路径,其真实速度场为
网络
的任务就是根据当前 noisy coordinates 预测这个 velocity,训练损失直接使用 MSE:
这实际上带有典型 flow matching / stochastic interpolant 的思想:网络学习的不是最终坐标本身,而是从噪声分布流向蛋白结构分布的局部方向场。
两个任务最终在一个目标函数中联合优化:
实际训练中
。关键之处在于:sequence diffusion 和 structure flow 不需要被强行写成同一种数学过程,只需要共享模型和联合语境。3.3 一个Transformer如何同时看懂离散序列和三维坐标?
序列 token 使用可学习 embedding;结构坐标则直接经过 Fourier feature encoding、线性投影和 LayerNorm,形成连续结构 latent。随后将
个 sequence latents 与
个 structure latents 拼接成长度约
的联合 token 序列,并利用共同的 residue index 建立一一对应关系。模型同时使用 sinusoidal positional encoding 和 RoPE,因此同一个残基的序列表示与结构表示拥有相同位置身份。
默认骨干是 Mixture-of-Transformer。它并不是两个完全独立的网络:sequence 和 structure 拥有各自的 Q/K/V projection、LayerNorm 与 FFN,但 attention 在两个模态拼接后的 joint space 内统一执行。换句话说,模型允许两种数据先使用不同参数做局部表征,再在 self-attention 中直接交换信息,这一点在论文第 6 页 Figure 3 中非常清楚。
更有意思的是,MoT并非成功的必要条件。后面的消融显示,所有参数共享的普通 Transformer 甚至在部分 co-designability 指标上更好,这反而加强了论文最核心的论点:真正起作用的可能是 tokenizer-free、joint data-space objective,而不是某个特殊架构。4. 不使用SE(3)等变网络,三维几何怎么办?
这是 SimpleDesign 最容易被追问的问题。模型本身并没有构建严格的 SE(3)-equivariant message passing,而是通过数据增强和目标对齐处理全局旋转、平移自由度。
训练时,同一个蛋白会复制出多个 replica,每个 replica 独立采样
,同时施加随机 rigid-body rotation 和 translation。更重要的是,在计算结构 MSE 前,作者利用 Kabsch alignment 将真实结构旋转到当前预测结构的参考系,再构造 velocity target,使监督尽量不受任意全局朝向影响。
因此,SimpleDesign获得的是一种由augmentation和alignment诱导出来的几何不变/等变行为,而不是架构上严格保证的等变性。它降低了模型设计复杂度,却也意味着在极端 OOD geometry、长链或精细局部几何上,其几何归纳偏置可能弱于专门的 SE(3) flow 模型。5. 推理时,序列和结构如何一起长出来?
结构从
开始。作者进一步把 learned velocity 转换成 score,并通过 Langevin-style stochastic flow 进行 Euler–Maruyama 积分:
然后在 deterministic velocity 上加入 score drift 和随机噪声,从而控制结构生成的 refinement–diversity trade-off。结构时间采用 log-spaced schedule,把更多采样步放在接近数据端的位置,因为后期精修对几何质量更加重要。
序列侧则逐步 unmask。每一步模型给出 amino-acid logits,先加入 Gumbel noise,再把温度从 0.5 anneal 到 0.1;为抑制某种氨基酸占据大量位置的重复模式,如果某类残基比例超过 0.25,则相应位置重新 mask 再预测。随后按照 confidence 逐渐固定最高分的位置。
最终的 joint sampler 让 sequence timestep 线性推进,而 structure timestep 使用 log-spaced schedule。于是每一轮 Transformer 都同时看到当前的部分序列和当前的部分结构:结构改善会影响下一轮序列决策,序列逐渐确定后又进一步约束结构,这才是 SimpleDesign 中真正的 joint generation,而不是先生成 A、再条件生成 B。
6. 实验到底证明了什么?
训练数据规模相当大。作者从 AFESM 超过 8 亿个预测结构中,经聚类后选择代表结构,再限制长度为 32–512、pLDDT
,最终保留约 180.7 万 个训练样本;之后又使用约 44.3 万 SwissProt 高质量样本继续训练。主训练进行 30 万 step,SwissProt finetuning 5 万 step,并使用 64 张 H100 80 GB。
在最重要的 joint co-generation benchmark 上,SimpleDesign 在
时,以 scRMSD
Å 和 scTM
定义的 co-designability 分别达到 0.53 / 0.74。这明显高于 DPLM2 的 0.30 / 0.46 和 ESM3 sequence→structure 的 0.09 / 0.11,说明去掉 structure tokenizer 后,并没有让序列–结构一致性崩溃。
但这里必须看到另一半结果:MultiFlow 达到 0.76 / 0.80,La-proteina(tri) 达到 0.77 / 0.79。因此这篇论文并没有证明 vanilla Transformer 已经取代专业几何生成模型;恰恰相反,它证明的是一个更细致的命题——相对于 tokenizer-based multimodal PLM,直接连续结构建模已经非常有竞争力;但在最高结构一致性上,几何归纳偏置仍然重要。作者自己也明确承认这一点。
结构单独生成时同样如此。SimpleDesign 在 PMPNN1/PMPNN8 designability 上分别为 0.44/0.63 和 0.60/0.78,优于 DPLM2,但仍明显落后于 MultiFlow 和 La-proteina。
真正漂亮的证据反而来自消融:在
下,普通 Transformer 的 co-designability 达到 0.62 / 0.84,高于 MoT 的 0.53 / 0.74。同时,SwissProt finetuning 显著提高 fidelity,却伴随 FoldSeek cluster diversity 下降。这个结果很好地说明了两个问题:SimpleDesign 的核心不是 MoT;而蛋白生成结果很大程度上受数据质量–多样性 trade-off支配。
局限性
首先,SimpleDesign的 structure 实际只有
坐标,而不是完整 backbone、side chain 或 all-atom protein。它可以判断全局折叠拓扑是否合理,却无法直接回答侧链 packing、氢键网络、活性位点原子几何、金属配位和界面原子互补性等真正决定功能的问题。作者也明确限定当前模型主要针对 100–500 aa,并未证明其适用于超长、多结构域或 intrinsically disordered proteins。
第二,论文中的 designability 本质仍是计算闭环:generated sequence 经 ESMFold 回折叠,再与 generated structure 比较;structure-only evaluation 还需要 ProteinMPNN 逆折叠后再经过 ESMFold。这证明的是模型之间的一致性,而不是蛋白在实验环境中能够表达、稳定折叠并产生目标功能。论文没有湿实验验证 activity、stability、specificity 或 safety,这一点作者也在 broader impact 中明确说明。
第三,无显式几何等变架构是一把双刃剑。随机旋转和 Kabsch alignment 能极大降低工程复杂度,但它并不等价于网络层面严格满足 SE(3) symmetry。随着任务从粗粒度
generation 走向原子级 binder、enzyme active site 或多链复合物,弱几何先验能否继续保持竞争力,目前并没有证据。未来意义
这篇论文最重要的启发可能不是某个 benchmark 数字,而是不要过早把异构多模态统一成同一种数据类型。序列天然适合离散生成,坐标天然适合连续 flow;SimpleDesign允许二者保留各自最自然的生成目标,只在网络内部共享信息。这比“先把所有东西 token 化,再交给语言模型”更接近 multimodal learning 本身的逻辑。
第二,它说明蛋白几何建模正在出现与视觉领域相似的趋势:过去大家不断向模型中加入复杂的几何 inductive bias,而随着数据规模、预训练和 Transformer 能力增加,部分结构先验可能被数据学习替代。SimpleFold、AlphaFold3 等工作的路线也体现了这种倾向。SimpleDesign进一步把这一思路推进到 sequence–structure generation:架构可以简单,但数据、训练目标和 corruption process 必须设计得足够合理。
下一步最值得关注的扩展并不是再把 co-designability 提高几个百分点,而是把这个思想推进到 all-atom generation、multimer/interface design 和 functional conditioning:如果普通 Transformer 在不依赖结构 tokenizer 的情况下仍能同时生成 sequence、backbone、side chain、interface geometry,甚至结合功能 motif 和 target context,那么 SimpleDesign 才可能真正从一个简洁的 methodological study,成长为通用蛋白设计框架。总结
SimpleDesign没有证明几何模型已经过时,也没有证明结构 tokenizer 完全没有价值。它更准确地证明了一件很有方法论意义的事情:在蛋白序列–结构联合生成中,结构离散化不是获得竞争性性能的必要条件。
其核心贡献可以浓缩为一个设计原则:序列保持离散 masked generation,结构保持连续 flow matching,再通过共享 Transformer attention 让两种模态共同推理。这样的系统在多模态 PLM 范式中已经表现出很强竞争力,而且普通 Transformer 与 MoT 的消融进一步说明,真正关键的是 joint data-space modeling,而不是不断堆叠专门化模块。
但如果目标是实际蛋白工程,当前证据仍主要停留在
几何和计算自洽性。是否能够稳定表达、形成正确 side-chain packing、产生预期功能以及在真实生物系统中工作,仍需要湿实验回答。