下一个标记预测作为一个简单的目标，却能引发复杂的行为模式。最新的研究发现，仅通过一个自注意力层并结合梯度下降法训练，就能将问题分解为困难的检索和柔和的组合，这一过程不仅实现了上下文学习，还显著提升了模...

近日，OpenAI疑似意外发布了一篇博客文章，该文章被Bing和DuckDuckGo索引后迅速被撤下。文章似乎是关于GPT-4.5 Turbo的公告，这是一个新的模型，其速度、准确性和可扩展性均超越了GPT-4 Turbo。缓存的描述中提到了20...

本文敦促UX设计师在GenAI界面中创新超越Quick Actions和Multi-Turn模式，强调需要更直观、适应性更强的设计来适应人工智能的不断发展。强调用户赋权和上下文理解，重点介绍了有前途的替代UX模式，如拖放、语音交互和...

Cognition发布了一款名为Devin的新系统，该系统在测试AI编写代码能力的挑战性基准测试SWE-Bench上获得了14%的分数，而GPT-4则只得到了1.7%。该模型显示具有强大的上下文学习能力。

近日，研究人员开发了一种名为Resonance RoPE的新技术，帮助LLMs更好地理解和生成比其原始训练序列更长的文本。这种方法在现有的Rotary Position Embedding（RoPE）系统上进行了改进，提高了模型在长文本上的性能，...

Anthropic的Claude 3似乎在一系列认知任务上树立了新的行业标准。该公司声称，在某些情况下，它接近于“人类水平”的能力。Claude 3有三个模型：Claude 3 Haiku，Claude 3 Sonnet（为Claude.ai聊天机器人提供动力）和C...

Big Code项目发布了旗舰编码模型的另一个版本StarCoder v2。该模型具有16k上下文窗口，经过4T令牌的训练，性能强劲，但仍然低于DeepSeek编码器。StarCoder v2将在程序员社区和人工智能研究领域引起轰动，标志着Big C...

Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。