在RAG（检索-生成）管道中，对嵌入向量进行搜索是至关重要的一环。通过将fp32数字替换为单个0或1，并使用KNN聚类器和重排序器，可以在缩小内存需求30倍的同时，保持性能不受影响。这一技术突破为处理大规模数据集提...

科技巨头Databrix与Mosaic合作，成功训练了一个具有132B参数的混合专家（MoE）模型。该模型在3000个H100 GPU上进行了训练，目前其权重文件已经公开发布。此外，该模型也已在Databricks API上提供服务，供企业和开发...

英国曼彻斯特大学的数学家们开发了一种名为CLASSIX的人工智能工具，能够从基因数据中迅速识别新出现的COVID-19变种。这一方法可能有助于简化病毒演变的追踪，并有助于像定制疫苗开发这样的主动应对措施。与传统的系...

RDSTN是一种创新的网络技术，通过任意规模的超分辨率处理，有效提升了超声图像的清晰度。该技术成功解决了图像质量和视野范围之间的传统权衡问题。通过先进的算法和数据处理，RDSTN能够对超声图像进行精细的优化，使...

本文深入探讨了Python、Go和Rust三种编程语言在人工智能应用开发中的作用与地位。Python以其广泛的AI库支持而成为AI模型开发的主力语言；Go语言因其高效的并发处理能力，适合用于规模化生产环境；而Rust则因其内存安...

Databricks Mosaic团队在语言模型训练领域不断创新。在最近的一篇文章中，他们讨论了用于fp8训练的训练技术栈，以及通过降低精度所带来的一些优势。fp8作为一种新兴的计算精度格式，能够在保持足够精度的同时，大幅...

Cohere近日推出了专为大规模生产而优化的RAG（Retrieval-Augmented Generation）模型Command-R，并宣布将该模型引入NVIDIA新推出的API目录。Command-R模型结合了检索与生成技术，能够助力企业快速进入大规模生产环境...

GritQL是一个用于搜索和修改源代码的声明式查询语言，它利用Rust语言和查询优化技术，能够扩展至超过1000万行代码的庞大代码库。GritQL内置模块系统包含超过200种标准模式，支持对多种目标语言进行重写，包括JavaScr...

近期研究表明，人工通用智能（AGI）的发展可能并未如预期那般顺利。尽管投入了更多的资源，像GPT-4这样的大型语言模型（LLMs）却表现出硬件扩展的极限，收益递减的现象。这意味着，随着模型规模的扩大，其性能提升的...

现代语言模型的一个奇特事实是，在训练模型之前，我们首先训练分词器。另一个奇怪的事实是，在大规模场景下，词汇量大小似乎并不是那么重要。本文将深入探讨这两种现象，分析分词器在模型预训练中的角色和影响，以及...