IXThinker·2025-01-16 22:30

谷歌Titans架構挑戰Transformer

谷歌團隊提出名為Titans的新架構，透過引入神經長期記憶模組突破Transformer在長序列處理上的局限，在多項任務中展現性能提升，被外界視為潛在的架構後繼者。

架構的瓶頸

2017年Attention Is All You Need引入注意力機制，成為現代大語言模型誕生的標誌。Transformer至今依然盛行，但其無法有效擴展更長上下文的缺陷一直飽受詬病。