Cohere For AI发布了一个30B+参数模型，该模型在10种语言的推理、摘要和问答方面非常擅长。该模型名为Command-R，是自然语言处理领域的一项重大突破。Command-R模型可以在多语言环境下进行推理和答案提取，这对于跨...

Covariant宣布推出机器人基础模型，使机器人具备类似于人类的推理能力。这个具有80亿参数的RFM-1模型可以通过更多的数据消耗来扩展其能力。它将图像、视频、关节角度、力读数、吸盘强度等多种信息整合到其预测引擎中...

微软的强大DeepSpeed训练库更新了，可以让模型每个参数使用6位。这可以将推理速度提升超过2倍。

Co-LLM推出了一种新方法，可以让大型语言模型协作，逐标记生成文本。这种策略允许模型利用其独特的优势和专业知识来完成各种任务，从而在遵循指令、特定领域问题和推理挑战等方面提高性能。

Inflection近日推出了一款新模型，为其个人助手Pi提供支持。该模型表现与GPT-4相当，在基准测试中具备出色的推理能力，达到了94%的成绩。Inflection声称，相对于GPT-4，该模型训练所需的计算资源仅占40%。有意思的是...

Unsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例，其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth，Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核，实现...

如何加速推理是许多人关注的话题。本代码分享介绍了如何通过静态KV缓存提高Hugging Face框架上Llama模型的推理速度。

IR-QLoRA是一种新方法，它可以提高量化大型语言模型的准确性，使它们更适合在资源有限的设备上使用。量化是一种通过降低浮点精度来减少计算资源需求的技术。虽然这种方法可以大大减少模型的计算量和存储空间，但它也...

近日，Meta提出了一种三亿五千万参数的语言模型，其强大的推理能力甚至接近Llama 7B在API函数调用任务中的正确性。该模型尚未发布，但固定参数模型的创新值得探索。

谷歌工程师和科学家开发了一个新的代码库，名为CPP Gemma推理引擎。与llama.cpp类似，该代码库允许在SIMD CPU架构上进行推理。该工具的目的是鼓励实验和使用昨天发布的Gemma模型。