Meta最新发布的Llama 4模型通过创新性的混合位置编码策略，实现了超过1000万tokens的上下文处理能力。该技术核心在于交替使用无位置嵌入（NoPE）和旋转位置嵌入（RoPE），在保持计算效率的同时显著扩展了上下文窗口...

Nebius近日开源了Kvax项目，这是一个基于JAX框架的Flash Attention实现，专门针对长上下文训练场景进行了优化。Kvax通过创新的上下文并行技术和高效的文档掩码计算，实现了更快的训练速度和更高的数据密度压缩，在性...

谷歌本周三推出了Gemini 2.0 Pro Experimental实验版，并在其推理模型Gemini 2.0 Flash Thinking上进行了更新，用户可以在Gemini应用中使用。Gemini 2.0 Pro Experimental将在谷歌的AI开发平台Vertex AI和Google AI...

近日，Google发布了新的轻量级模型Gemini Flash。此模型具有多模态推理和高达一百万个符号的长上下文窗口。Google利用其先进的技术，使Gemini Flash在处理大量数据时保持了高效与精确。这种新型的轻量级模型将有助于...

谷歌最近推出了名为Gemini Code Assist的AI代码补全工具，专为企业用户设计。该工具拥有高达一百万个token的上下文窗口，能够提供更为精准的代码建议。同时，Gemini Code Assist支持在多个平台上对本地代码库进行代...

Elon Musk旗下的xAI公司近日推出了Grok-1.5人工智能系统，该系统在数学和编程方面的处理能力得到了显著提升。与前一版本相比，Grok-1.5在性能上有大幅度提升，并在与业界领先的AI模型如GPT-4的竞争性基准测试中表现...

谷歌在其Vertex AI平台上公开预览了最新一代生成型AI模型Gemini 1.5 Pro。该模型提供了高达100万个标记的大容量上下文窗口，这使得它能够处理更复杂的文本生成任务，同时保持高效的计算性能。此举进一步展示了谷歌在...

Longcontext Alpaca训练技术最近取得了重大突破，通过在H100硬件上使用新的梯度累积卸载技术，成功训练了超过200,000个上下文窗口。这种创新方法使得大规模深度学习模型的训练变得更加高效，显著提高了计算资源的利...