行情
新聞
分析
使用者
快訊
財經日曆
學習
數據
- 名稱
- 最新值
- 前值
【突破算力限制! Meta開源“記憶層”,重塑Transformer架構大模型】祖克柏旗下Meta Platforms分享了一個創新研究——Memory layers(記憶層)。目前,Transformer架構的預訓練大模型在儲存、查詢資料時,隨著參數的變大對算力的需求呈指數級增長。 「記憶層」提出了新的高效查詢機制取代了傳統的查詢方法,透過比較查詢鍵與兩個較小集合中的鍵,可以快速找到最相關的鍵,而無需遍歷模型的整個記憶層。這也就是說,可以在不增加算力的情況下顯著增加大模型的參數。例如,研究人員在僅有1.3億參數的模型中增加了128億額外的記憶參數,其表現與Meta開源的Llama 2- 70相當,而算力卻比它低了10倍左右。
AI快訊快速達
實时快速傳達更多精選快訊內容
獨家影片免費看
FastBull專案團隊傾情打造獨家影片,僅會員可以查看影片
追蹤更多行情品種
可增加更多自選品種,實時追蹤更多行情數據
宏觀數據、經濟指標更全面
更全面的指標歷史數據,助力分析宏觀市場
專屬會員數據
更全面的貨幣、貴金屬、原油數據