Mirage项目是一个多层次的张量优化引擎，能够产生极高性能的线性代数模块内核。它利用了张量的多层结构，进行深度优化，从而实现了高度优化的内核计算。在GitHub上，Mirage项目已经开源，并得到了广大开发者的热烈追...

YOCO架构是一种具有全局注意力能力的解码器-解码器模型，能有效地降低GPU内存需求。它包含一个自解码器和一个交叉解码器，使得关键-值对的缓存和复用更加高效。与传统的Transformer相比，YOCO在推理内存、延迟和吞吐...

Symbolica是一款计算机代数系统。它可以匹配复杂的数学模式并处理庞大的表达式。Symbolica具有最先进的多项式算术和表达式优化，还具有数值积分框架和Python、Rust和C++的API。现在提供在线演示。

OpenAI最近发布了一份文件，详细阐述了公司希望其模型在各种场景下的行为表现。这份文件的公布，标志着OpenAI对于模型行为的透明度和可预测性的重视。通过明确模型的行为预期，OpenAI希望能进一步优化其模型在实际应...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

Cohere的Command R和R+是针对长文本任务优化的最新LLM（Large Language Models）。这两款模型在关键的商业重要能力方面表现优异。它们都是目前市场上的技术先行者，并且已经在亚马逊Bedrock平台上进行发布。这无疑是...

自动化提示优化的人工智能模型预示着一个未来，手动提示工程可能会变得过时，指向了生成有效提示的更有效，模型驱动的方法。在这个新的模型驱动的世界里，我们可以期待更快速的提示生成，以及更精确的结果。此外，这...

企业级AI平台Lamini使企业内的软件团队能够开发出新的LLM能力，减少对专有数据的幻觉，安全地从云VPCs到现场运行他们的LLM，并通过模型评估来扩大他们的基础设施，这些模型评估优先考虑ROI和业务成果而非炒作。Lamin...