Dactolisib

BioRxiv 代码全公开 | 基于细胞上下文的单细胞基础模型Stack：零样本学习与扰动效应预测 - 标题：Stack: In-Context Learning of Single-Cell Biology - 期刊：BioRxiv - 发表时间：2026年1月9日 单细胞转录组学技术的飞速发展，已催生海量跨越物种、组织、疾病状态的单细胞数据，为解析细胞异质性、揭示生物学机制提供了前所未有的机遇。然而，现有单细胞基础模型普遍存在局限：或将单个细胞孤立分析，忽略细胞群体的上下文关联；或依赖大量标注数据与任务特异性微调，难以实现零样本泛化；或在扰动效应预测等关键任务中表现平平。 近日，Arc Institute联合耶鲁大学、加州大学伯克利分校等机构的研究团队，在bioRxiv发表了一项颠覆性研究，推出了名为Stack的单细胞基础模型。该模型以1.49亿个人类单细胞数据为训练基础，创新性地引入表格注意力机制与上下文学习框架，不仅在多类下游任务中实现性能突破，还成功构建出首个人类全器官扰动细胞图谱Perturb Sapiens。更重要的是，研究团队已全面公开代码、模型权重及数据集，为全球科研人员提供了可直接复用的强大工具，同时为单细胞领域的课题设计开辟了多条全新路径。 01 Deconstruction of  Research Ideas 研究思路解构 Stack的成功并非偶然，其核心创新源于对现有单细胞建模痛点的深刻洞察，从数据、架构、训练策略到计算支撑，形成了一套完整的解决方案，核心思路始终围绕**“挖掘细胞上下文价值”** 展开。 1.超大规模高质量数据：奠定泛化能力基础 模型的泛化能力始于数据规模与质量。Stack的预训练数据源自scBaseCount——目前最大的人类单细胞数据集，包含1.89亿个高质量细胞，经严格质量控制后，最终筛选1.49亿个细胞用于训练（剩余20%用于验证与测试）。该数据集涵盖19,978个SRX样本，规模是scGPT、Geneformer等主流模型训练数据的3-4倍，且经过统一预处理，有效避免了数据异质性带来的干扰，为模型学习通用生物学规律提供了坚实基础。 2.创新表格Transformer架构：打通细胞内-细胞间信息流动 现有模型的核心短板之一，是无法同时捕捉单个细胞的基因特征与细胞群体的关联信息。Stack通过定制化表格Transformer块，实现了细胞内与细胞间的双向信息交互，这一设计堪称其性能突破的关键： - 细胞内多头注意力层：针对单个细胞，对其基因模块标记序列进行注意力计算，深度挖掘基因间的内在依赖关系； - 细胞间多头注意力层：将每个细胞的基因模块标记串联为“细胞标记”，在细胞集合层面进行注意力分析，捕捉细胞群体的上下文关联； - 可训练基因模块标记化：通过单层感知机将高维基因表达投影为固定数量（100个）的低维标记，既迫使模型学习有意义的基因分组，又大幅降低计算复杂度，相比基因级标记化提升了模型可扩展性。 此外，Stack还引入分布正则化机制，使细胞嵌入分解为细胞集合常数与标准正态分布样本之和，保证潜空间的线性可识别性，为跨数据集泛化提供了理论支撑。 3.预训练+后训练双阶段策略：解锁上下文学习能力 Stack采用“预训练奠基+后训练赋能”的双阶段训练模式，既保证了基础表征能力，又赋予了模型独特的上下文学习能力： - 预训练阶段：采用矩形掩码任务，对每个批次的细胞随机掩码部分基因（掩码比例0.1-0.8），训练模型重构单个细胞的基因表达分布，避免简单的基因填补捷径；同时通过高效数据加载器，实现1.6×10⁴个细胞/秒的处理速度，单张H100 GPU仅需2-3天即可完成预训练，解决了大规模单细胞模型训练的计算瓶颈。 - 后训练阶段：通过自蒸馏策略，让模型学会“细胞提示工程”——将细胞分为“提示细胞（prompt）”和“查询细胞（query）”，提示细胞编码特定生物学条件（如扰动、疾病状态），查询细胞为目标细胞类型，模型通过学习两者的映射关系，无需任务特异性微调，即可预测查询细胞在提示条件下的基因表达状态。后训练数据涵盖5500万细胞，包括CELLxGENE的多组织观测数据和Parse的PBMC扰动数据，确保模型能适应多样化的生物学场景。 4.代码与工具链开源：零门槛上手，全流程可复现 研究团队秉持开放科学理念，已将Stack的完整技术栈全面公开，包括： - 核心代码：https://github.com/ArcInstitute/stack（含模型训练、推理、评估的完整流程，支持自定义数据集适配）； - 预训练模型权重：Huggingface仓库（arcinstitute/Stack-Large、arcinstitute/Stack-Large-Aligned），可直接用于下游任务微调或零样本推理； - 关键数据集：Perturb Sapiens全器官扰动图谱（https://huggingface.co/datasets/arcinstitute/Perturb-Sapiens）、CELLxGENE 45M对齐数据集（https://huggingface.co/arcinstitute/Stack-CellxGene45M），均提供详细的使用说明与预处理脚本。 开源工具链的完整性的，使科研人员无需从零构建模型，可直接基于现有框架开展个性化研究，大幅降低了单细胞基础模型的应用门槛。 Deconstruction of Research Ideas 02 Final result presentation 最终结果展示 研究团队从细胞表征质量、零样本下游任务、上下文学习能力、全器官扰动图谱构建四个维度，对Stack进行了系统且严苛的验证，结果显示其性能在几乎所有任务中均显著超越现有方法。 1. 细胞表征：精准捕捉细微生物学信号 Stack生成的细胞嵌入，能有效编码疾病状态、生理特征、细胞类型等多层次生物学信息。在肾脏、淋巴结、大脑、肺等4个观测数据集（涵盖38-223个供体）的线性探针评估中，Stack的零样本表现全面超越PC HVG、scGPT、UCE、State等基线模型，甚至优于在目标数据集上从头训练的scVI模型；仅在部分包含于训练集的数据集子集中，性能略逊于State模型（差距仅2.2%）。 在MLP探针评估中，Stack的优势进一步凸显，尤其在捕捉复杂非线性生物学关系（如脑疾病的伪进展评分、肺癌的UICC分期）时，表现出更强的鲁棒性。而在细胞类型分类任务中，Stack与其他方法性能接近（均达高准确率），证明其上下文学习机制并未牺牲单细胞分辨率的表征能力。 在批次整合任务中，Stack的表现同样亮眼：在Tabula Sapiens的25个组织中，21个组织的整合性能排名第一，既能有效去除技术批次效应（如不同测序平台、不同供体的差异），又能精准保留细胞类型的生物学特征，UMAP可视化显示其能清晰聚类细粒度细胞状态。 2. 零样本任务：扰动预测性能突破现有局限 扰动效应预测是单细胞研究的核心任务之一，但现有模型往往依赖大量扰动数据训练，且泛化能力差。Stack仅以观测数据为主进行预训练，却在三类扰动任务（化学药物、信号分子、遗传扰动）中表现出压倒性优势： - 在OpenProblems（147种药物）、Tahoe-100M（250种扰动）、Parse-PBMC（90种细胞因子）等大规模数据集上，Stack是唯一能持续超越从头训练scVI模型的方法； - 在Tahoe和Parse数据集上，Stack对扰动效应的区分能力较最优基线提升约100%，即便面对细微的扰动差异（如不同剂量的细胞因子刺激），也能精准捕捉； - 仅在Xaira遗传扰动数据集上，由于测量噪声与扰动间基因表达相似性高，所有方法表现均较低，但Stack仍保持相对优势。 3. 上下文学习：零样本完成全新生物学任务 后训练后的Stack具备强大的上下文学习能力，可通过设计“提示-查询”细胞对，零样本完成四类核心任务，且在31项评估中28项排名第一： - 新细胞类型的扰动效应预测：以样本中部分细胞类型的扰动状态为提示，预测同一样本中其他未扰动细胞类型的响应，Pearson Delta等关键指标较基线提升45.8%-55.5%； - 新样本的扰动响应预测：以某一供体的扰动细胞为提示，预测另一供体目标细胞的扰动响应，在IFN-β、IL-6等组合扰动中，DE重叠准确率提升25.4%； - 供体特异性表达生成：以某一供体的部分细胞类型为提示，生成该供体未测序细胞类型的表达谱，在肾脏、淋巴结等4个图谱中，PR-AUC提升14.7%； - 跨数据集细胞类型生成：以某一数据集的扰动细胞为提示，生成另一数据集目标细胞的扰动响应，scIB整合评分提升94.5%，成功预测从未经实验扰动的细胞类型的响应。 4. 实战应用：构建首个人类全器官扰动图谱Perturb Sapiens 利用Stack的上下文学习能力，研究团队构建了Perturb Sapiens——首个人类全器官扰动细胞图谱，这也是该模型最具突破性的应用成果： - 图谱规模：覆盖28种组织、40类细胞、201种扰动（90种细胞因子+111种药物），包含513,870个细胞/扰动条件； - 生成逻辑：以Parse的细胞因子扰动数据和OpenProblems的药物扰动数据为提示，以组织平衡后的Tabula Sapiens全器官细胞为查询，通过Stack预测各类细胞在不同扰动下的基因表达状态； - 验证结果：图谱的扰动响应与体外实验高度一致——IFN-γ扰动激活IFIT3、ISG15等下游靶基因，且在免疫细胞和非免疫细胞中均表现出细胞类型特异性；dactolisib扰动抑制干扰素刺激基因，与其PI3K/mTOR抑制剂的已知功能吻合； - 创新价值：首次实现全器官尺度的扰动效应预测，尤其能捕捉非免疫细胞的免疫调节和组织重塑响应，为扰动生物学研究提供了全新的虚拟实验平台。 Final result presentation 03 The research findings suggest 研究结果启示 Stack的推出不仅是一项技术突破，更将为单细胞生物学研究带来系统性变革，其核心价值体现在三个层面： 1. 开创“细胞提示”的全新建模范式 Stack首次将上下文学习引入单细胞基础模型，提出“细胞即提示”的理念——无需标注数据和任务特异性微调，仅通过设计提示细胞的生物学条件，即可引导模型完成全新预测任务。这种范式打破了现有模型对监督数据的依赖，使研究人员能够快速探索未被实验验证的生物学假设，如罕见细胞类型的扰动响应、新型药物的跨组织效应等，极大提升了研究效率。。 2. 为药物研发与疾病机制研究提供高效工具 Perturb Sapiens全器官扰动图谱的构建，为药物研发提供了强大的虚拟筛选平台：研究人员可通过图谱快速预测药物对不同组织、细胞类型的影响，优先选择靶向性强、副作用小的候选药物，大幅减少体外实验和动物实验的成本与时间；同时，图谱还能揭示扰动下的跨细胞类型信号传导网络，为解析疾病的发病机制提供全新视角。 3. 开源生态推动领域协同发展 研究团队全面公开的代码、模型和数据集，构建了完整的开源生态： - 对于新手研究者：可直接使用预训练模型开展下游任务，通过详细教程快速上手，无需关注复杂的模型训练细节； - 对于资深研究者：可基于开源代码进行二次开发，如拓展多物种模型、整合多组学数据等，代码采用模块化设计，便于修改与拓展； - 对于产业界：可将模型应用于药物筛选、诊断标志物发现等实际场景，加速科研成果转化，降低技术研发成本。 这种开放共享的模式，将避免重复劳动，集中全球科研力量推动单细胞基础模型的迭代升级，形成“开源-应用-反馈-优化”的良性循环。 04 New ideas for the project 课题新思路 Stack的技术创新与开源资源，为单细胞领域的课题设计提供了丰富的新思路，以下五大方向兼具创新性与可行性，可直接作为课题申报的核心切入点，结合开源工具链快速开展研究： 1. 多尺度信息整合与跨物种建模 - 核心思路：现有Stack仅基于人类单细胞数据训练，可拓展至小鼠、斑马鱼等模式生物的单细胞数据，通过基因模块的跨物种对齐，构建跨物种单细胞基础模型，挖掘细胞生物学的保守规律与进化差异； - 创新点：突破单一物种局限，为进化生物学研究和模式生物与人类疾病的关联分析提供工具，可解决“模式生物研究结果难以转化至人类”的行业痛点； - 技术支撑：复用Stack的核心架构，重点优化基因模块标记化的跨物种适配（可参考GitHub代码中 tokenization.py 模块），利用Hugging Face的模型微调接口快速迭代，无需从零构建； - 数据方案：可采用公开的跨物种单细胞数据集（如Mouse Cell Atlas、Zebrafish Cell Atlas），结合Stack的预训练权重进行迁移学习，降低数据收集成本。 2. 稀有细胞类型与弱扰动效应的精准与预测 - 核心思路：现有模型对稀有细胞类型（如干细胞、循环肿瘤细胞）和弱扰动效应（如低剂量药物、早期疾病状态）的预测能力有限，可基于Stack的上下文学习框架，设计针对性的提示策略（如增加稀有细胞的提示比例、引入弱扰动与强扰动的对比提示），提升模型对低丰度、弱信号的捕捉能力； - 创新点：解决单细胞研究中“稀有细胞难研究、弱扰动难检测”的痛点，可应用于早期疾病诊断、微量药物筛选等场景，具有重要的临床转化价值； - 技术方案：基于Stack-Large-Aligned模型，修改 predict_perturbation_effect 函数中的提示细胞采样策略（参考 tutorials/Prediction_Tutorial.ipynb ），增加稀有细胞的采样权重，或引入对比学习损失函数优化模型； - 数据支撑：Perturb Sapiens图谱已包含部分稀有细胞类型的扰动数据，可作为预训练补充数据，结合临床样本中的稀有细胞分选数据进行验证。 3.动态扰动响应与细胞命运转换预测 - 核心思路：结合时间序列单细胞数据（如细胞分化、扰动后的不同时间点数据），扩展Stack的上下文学习框架，让模型能够捕捉扰动后的动态信号级联反应，预测细胞命运转换的关键节点与调控基因； - 创新点：从“静态预测”升级为“动态模拟”，更真实地还原体内细胞的响应过程，为解析细胞分化、肿瘤进展等动态生物学过程提供全新工具； - 方法拓展：在Stack的后训练阶段引入时间维度的提示细胞，让模型学习“时间-基因表达”的映射关系，可参考GitHub代码中 post_training.py 的自蒸馏模块，增加时间序列损失项； - 应用场景：可用于预测肿瘤细胞对治疗的耐药过程、干细胞分化的关键调控因子，为制定长效治疗方案提供数据支撑。 4.多组学上下文学习与疾病标志物发现 - 核心思路：将单细胞转录组数据与蛋白质组、表观基因组（如ATAC-seq）、空间转录组数据结合，扩展Stack的输入特征，构建多组学层面的上下文学习模型，挖掘跨组学的关联信息； - 创新点：突破单一转录组的局限，提升模型对生物学状态的全面表征能力，可发现更可靠的疾病诊断标志物和治疗靶点，解决“单一组学标志物特异性不足”的问题； - 可行性：Stack的标记化模块支持自定义输入特征（参考 model/stack_model.py 中的 tokenize_genes 函数），可直接将多组学数据整合为多模态标记，利用预训练权重进行微调，快速验证模型效果； - 数据方案：可采用公开的多组学单细胞数据集（如10x Multiome数据），或与实验团队合作生成临床样本的多组学数据，结合Stack的开源工具链进行标志物筛选。 5. 临床样本的零样本扰动预测与个体化治疗方案优化 - 核心思路：基于临床样本的单细胞数据（如肿瘤患者的肿瘤微环境细胞数据），利用Stack的零样本上下文学习能力，预测不同治疗方案（如化疗药物、免疫治疗、靶向治疗）对患者肿瘤细胞的扰动效应，为个体化治疗方案的制定提供数据支撑； - 创新点：实现“从科研到临床”的转化，解决临床样本稀缺、难以开展大规模扰动实验的问题，具有重要的临床应用价值，符合当前精准医疗的发展趋势； - 落地路径：与医院合作收集临床单细胞样本（如肿瘤穿刺样本的scRNA-seq数据），利用Stack-Large-Aligned模型进行零样本扰动预测（参考扰动预测教程），无需额外训练，快速对比不同治疗方案的模拟效果； - 预期成果：构建针对特定疾病（如肺癌、乳腺癌）的个体化治疗预测模型，为临床决策提供辅助工具，可形成高质量临床研究论文或专利成果。 New ideas for the project 总结 Stack模型以创新的上下文学习框架、全面领先的性能表现、完整开放的技术生态，为单细胞生物学研究带来了革命性突破。其“细胞即提示”的建模范式，打破了现有模型的诸多局限，使零样本跨任务、跨数据集泛化成为可能；而Perturb Sapiens全器官扰动图谱的构建，为扰动生物学研究提供了全新的虚拟平台。 更重要的是，研究团队提供的详细代码教程与开源资源，让不同层次的科研人员都能快速上手，结合五大课题新思路，可高效开展个性化研究。无论是新手入门、资深团队的技术拓展，还是临床转化研究，Stack都能提供强大的支撑。未来，随着模型在多物种、多组学、动态预测等方向的不断拓展，Stack有望在疾病机制解析、药物研发、个体化治疗等领域发挥更大作用，为生命科学研究带来更多突破性成果。