QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

Consistency LLM是一种新的自然语言处理模型，可以将其转换为并行解码器，从而将推理时间缩短至3.5倍。LLM模型是一种具有良好性能的模型，但推理速度较慢。该研究团队将LLM转换为并行解码器，使用了一种名为一致性训...

传统上，搜索和推荐一直被分开，因为虽然它们在概念上占据了同一光谱的两端，但它们具有不同的工具、架构和机器学习目标。大型语言模型引入了需要小心管理的期望，因为在开放式解决方案空间中引导客户意图是很困难的...

Cohere的Command R和R+是针对长文本任务优化的最新LLM（Large Language Models）。这两款模型在关键的商业重要能力方面表现优异。它们都是目前市场上的技术先行者，并且已经在亚马逊Bedrock平台上进行发布。这无疑是...

研究人员已经开发出“Morph-Tokens”来提高AI的视觉理解和图像生成能力。这些令牌将用于理解的抽象概念转换为用于图像创建的详细视觉，利用MLLM框架的先进处理能力。Morph-Tokens的开发，不仅能够提高AI的图像理解和生...

Unsloth.ai的创始人近期发布了一段视频，详述了他们的团队如何使用PyTorch，编写他们的内核，以及设计他们的API界面。Unsloth的框架和库功能强大，易于使用。Unsloth通过这种方式，使得大量的开发者能够更好地进行深...

企业级AI平台Lamini使企业内的软件团队能够开发出新的LLM能力，减少对专有数据的幻觉，安全地从云VPCs到现场运行他们的LLM，并通过模型评估来扩大他们的基础设施，这些模型评估优先考虑ROI和业务成果而非炒作。Lamin...

苹果公司即将在iOS 18中，为Safari、Spotlight Search和Siri增强AI相关功能。Safari的其中一个关键功能是文本摘要。 Siri也将获得类似的更新，使其能够以简化的方式生成响应来传递消息的内容。苹果的AI模型将完全在...

一项最新的研究揭示了一种能够显著扩展语言模型上下文长度至128K的方法。这项研究强调了大量和多样性的训练数据的重要性。语言模型的上下文长度是语言模型理解和生成连贯文本的能力的一个重要因素。此项新的研究方法...

最近，GitHub仓库上新增了一款名为Phospho的文本分析平台。这款平台主要针对LLM应用进行文本分析，提供了一种全新的处理文本数据的方法。Phospho可以帮助开发者处理大量的文本数据，提取有用的信息，并进行深度分析...