摘要: 蛋白質設計模型的訓練,長年跟著一套約定俗成的做法走:先讓 autoencoder 把序列與結構壓縮成 latent representation,再讓生成模型進到這個壓縮後的空間裡學習。這條路線看似合理,代價卻不低。Apple ML Research 在 2026 年 9 月 11 日發表的 SimpleDesign 論文,正是衝著這個前提而來,質問它是否真的必要。
蛋白質設計模型的訓練,長年跟著一套約定俗成的做法走:先讓 autoencoder 把序列與結構壓縮成 latent representation,再讓生成模型進到這個壓縮後的空間裡學習。這條路線看似合理,代價卻不低。Apple ML Research 在 2026 年 9 月 11 日發表的 SimpleDesign 論文,正是衝著這個前提而來,質問它是否真的必要。
被拿掉的那一階段
Apple ML Research 的論文頁面 指出,SimpleDesign 屬於直接在資料空間訓練的多模態蛋白質設計模型,走的是單階段端到端目標:序列端以離散 cross-entropy 為損失,結構端採用 regression objective。作者群提出的假設很直接——要得到表現良好的 co-design 模型,多階段訓練並非必要。
對產品端而言,兩階段訓練的代價並不只在算力。整條 pipeline 因此被切成兩個各自會失敗的環節:autoencoder 的 latent 品質先畫出天花板,生成模型再怎麼訓練也只能在天花板底下發揮。一旦最終輸出不如預期,你很難分辨責任落在壓縮階段還是生成階段;單階段目標把這個歸因難題縮回單一來源。
模態差異怎麼處理
序列本身是離散的,結構卻是連續的;若硬把兩者擠進同一種表徵,兩邊會彼此牽制。論文的解法是 Transformer-based multimodal backbones,讓 modality-specific processing 得以存在,同時在兩個模態上維持 global self-attention。
這是架構上的取捨,不是魔法。維持全域注意力,代表模型仍得負擔跨模態計算的成本;換到的好處,是序列與結構之間的對應關係不會在早期就被壓扁。訓練資料的規模超過 200 萬組 sequence-structure pairs,而模型在 co-design 以及無條件序列/結構生成 benchmark 上都交出具有競爭力的成績。
有一個措辭值得留意:論文選擇「competitive」,而非「state-of-the-art」。對於正在挑選模型的團隊,這點差別足以決定 SimpleDesign 該被放進替代方案清單,還是只當成對照組。
對建置流程的實際影響
正在評估蛋白質設計模型堆疊的人,可以從這篇論文帶走一個能實際檢驗的問題:先問「這個 latent space 真的在幫我,還是只是歷史慣例」。類似的疑問在其他領域也出現過——把生物序列當成搜尋空間、用代理模型縮短前期探索,這類做法的價值往往來自少一層中間層,而不是多一層中間層。
站上這篇延伸閱讀談的是同一個大方向:把生物序列當搜尋空間:Codex 與 ChatGPT 如何縮短抗菌分子前期探索——讓模型更靠近原始資料,而不是更靠近人為設計出來的中介表徵。
還沒被回答的部分
推論成本、模型規模,以及與既有 co-design 方法的逐項比較數字,supplied RSS summary 都沒有交代,所以單階段訓練在實際部署時究竟能省下多少資源,目前無從判斷。論文另標註部分作者的工作是在 Apple 期間完成,而第一作者同時隸屬 Mila 與 Université de Montréal;這些隸屬關係會如何影響後續維護與授權,來源同樣沒有說明。
實務上的下一步並不複雜:假使你的 pipeline 現在正卡在 latent 品質與生成品質難以歸因,就把 SimpleDesign 的單階段目標當成一組對照實驗來讀,別急著視為替換方案。
