近年来，大型语言模型在自然语言处理领域取得了显著进展，但在长时间对话中保持记忆仍然是一个巨大的挑战。为了解决这一问题，研究人员提出了一种新的方法：Streaming Infinite Retentive LLM（SirLLM）。这种方法允...

MoonDream在最新的实验中，利用WebGPU的推断功能，直接在网络上运行了一个小型的MoonDream VLM。这一实验的成功，标志着MoonDream在提升其在线服务能力方面又迈出了重要的一步。WebGPU是一种新型的网络图形技术，它...

一项最新的研究揭示了一种能够显著扩展语言模型上下文长度至128K的方法。这项研究强调了大量和多样性的训练数据的重要性。语言模型的上下文长度是语言模型理解和生成连贯文本的能力的一个重要因素。此项新的研究方法...

近期一项研究深入探讨了大型语言模型中不同概念的理解方式。该研究发现，在这些模型中，简单任务通常由较浅的层次处理，而更复杂的任务则需要更深层次的处理能力。这一发现有助于我们更好地理解人工智能在处理信息时...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

近日，GitHub上出现了一个新的项目LlamaGym，该项目专注于通过在线强化学习方法对大型语言模型（LLM）代理进行微调。大型语言模型在近年来取得了显著的进展，但如何进一步提升其性能，尤其是在特定任务上的表现，成...

Cappy是一款小型模型，专门设计用于接收指令和候选完成，然后为完成度打分，以衡量其完成指令的程度。在这项任务上，Cappy的表现超越了许多更大的模型，这表明它可能作为训练和生成过程中的一个反馈机制。Cappy的成...

上周，在小型GPU上训练大型模型取得了突破。这个配置展示了如何使用这些技术在消费级硬件上训练Mixtral。