百度發布和公開 ERNIE 5.5 Flash Base 語言模型程式碼，ERNIE 5.5 Flash 是一款高效的稀疏混合專家 (MoE) 語言模型，總參數量為 2800 億，每個詞元激活 140 億個參數。該模型在33.5 兆個詞元上從零開始預訓練，訓練上下文最大可達12.8 萬個詞元；微調和推理支持100 萬個詞元的上下文。
主要亮點
- 這是一個開放的起點，可供進一步訓練。基礎權重不包含訓練過程中的調整或後續調整，讓社群可以自由地探索各自的領域適應、推理和智能體訓練方法。
- 該模型專為高效的後續訓練和推理而設計。它採用稀疏 MoE 和混合稀疏注意力平衡模型容量，並在架構本身中激活了計算能力和長上下文成本。
- 資料量大，訓練效率高。多樣化、高品質的預訓練資料為後續訓練奠定了堅實的基礎，而與架構協同設計的訓練系統則保證了大規模預訓練的高效性。
- 一個清晰的研究基線。在預訓練結束時設定一個檢查點，以便在受控條件下比較不同的訓練方法，並衡量每種方法帶來的提升。
架構和核心
- 280B-A14B 混合注意力 MoE: 43層（1 個密集 FFN + 42 個多路由潛在 MoE），包含 37 個重壓縮注意力 (HCA) 層和 6 個具有稀疏注意力的多頭潛在註意力 (MLA + DSA) 層；512 個路由專家（前 10 個）以及每個 MoE 層 1 個共享專家；512 個路由專家（前 10 個）以及每個 MoE 層 1 個共享專家；512 個路由專家（前 10 個）以及每個 MoE 層 1 個共享專家； 128K；微調和推理支持 1M 上下文。
- 混合式 MLA + HCA 注意力機制，並針對不同層級設定了不同的注意力頭維度: 七分之一的層透過 MLA 保持對完整上下文的存取；其餘層則使用重壓縮注意力 (HCA)，每 128 個 token 快取一個條目。注意力頭維度與各層的注意力成本相符：計算量較小的 HCA 層處理 128 倍壓縮序列，使用 512 維的寬注意力頭；而計算量更大的 token 級 MLA 層則使用 256 維的窄注意力頭。在相同的鍵值快取預算下，HCA 與 MLA 的組合優於 HCA 與壓縮稀疏注意力 (CSA) 的組合。
- 低秩門控注意力機制和虛擬頭注意力機制（VHA）: 注意力輸出門控由低秩查詢潛在狀態而非隱藏狀態計算得出，從而在提升性能的同時，將門控投影參數減少了75%。 VHA 增加了一個輕量級的跨頭低秩後混合操作，並帶有身份跳躍，在推理階段與注意力算子融合。
- 多路由器潛在MoE：在半寬度潛在專家上使用多個路由器: 單一路由器的得分與專家效用相關性較弱，尤其是在中層到深層。多路由器演算法以多個獨立初始化的、具有不同偏好的sigmoid路由器來取代單一路由器，使專家選擇不再受單一路由器誤差的影響，變得更加準確，同時保持啟動的專家數量、專家FLOPs和通訊量不變。
- ECHO: 骨幹網本身的最後一層取代了 MTP 模組，ECHO沒有使用單獨的 MTP 模組，而是重用骨幹網的最後一層來預測未來的詞元，因此多層次損失直接影響下一個詞元的參數；同一層還兼作用於推測性解碼的內建草稿模型。
- 流形約束超連接（mHC）: 此模型採用擴展率為 4 的 mHC 取代標準殘差流，在保持表達能力的同時，增強了訊號在 43 層的傳播。
- MultiMax 輸出頭: 具有可學習分段溫度的 MultiMax 頭能夠以可忽略的訓練成本銳化詞彙分佈。
分詞器: 一個 ≈200K 條目的 BPE 分詞器將數字從右到左 (R2L) 分詞，每組最多三個數字。
https://ernie.baidu.com/release/ernie-5-5-flash-base/
Picture Source
Baidu
Sign-in required
This article is for members only. Sign in to view the full content.
Please sign in to the member center. Sign in