论文：Gemini在1m+代币窗口中使用HyperAttention技术

talkingdev • 2024-03-05

932174 views

众所周知，Gemini的惊人1m+代币窗口使用HyperAttention技术取得了如此的成功。这种技术可使计算机通过模拟人类大脑中的注意力机制来聚焦于代币，并识别出其中的关键信息。HyperAttention技术不仅提高了Gemini的精度，还使其能够在竞争激烈的市场上保持领先地位。