QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

传统上，搜索和推荐一直被分开，因为虽然它们在概念上占据了同一光谱的两端，但它们具有不同的工具、架构和机器学习目标。大型语言模型引入了需要小心管理的期望，因为在开放式解决方案空间中引导客户意图是很困难的...

近日，GitHub Repo发布了一款名为InstructDr的模型，该模型的设计目标是在各种视觉文档理解任务中表现优异，如问题回答和信息提取等。InstructDr能结合文档图片和大型语言模型，适应新的任务和数据集，其性能超过了...

正在从加密转向AI的Cognition Labs，正寻求20亿美元的估值为其AI编码工具Devin融资。在AI初创公司估值飙升的趋势中，Cognition的成功反映了行业的增长以及在数据和计算资源上进行重大投资的重要性。像Google和Micros...

QUICK是一套新的优化CUDA内核，通过解决内存问题，提升了大型语言模型的效率。这导致了NVIDIA GPU上的显著速度提升，使AI模型运行更快，效率更高。QUICK的出现，无疑为AI领域带来了新的可能性，通过优化内存处理方式...

2024年3月的最后一周，开源大型语言模型（LLMs）迎来了一次重要的时刻。包括Databricks的DBRX，A21 Labs的Jamba和SambaNova Systems的Samba-CoE在内的多款模型相继发布。这些发布标志着开源AI模型多样化和普及化的关...

llamafile项目已经成为Mozilla在GitHub上最受欢迎的项目之一，它为用户提供了一种简单快速的方式，在消费级硬件上运行各种开放的大型语言模型。本文将详细介绍项目的开发过程，以及自v0.1版本以来实施的各种变化。最...

人工智能(AI)的差异化挑战日益凸显。然而，真正的关键在于不是使用像大型语言模型(LLMs)这样的AI模型，因为这些模型正在变得商品化，而是在于输入这些模型的独特数据。有效的数据工程至关重要，因为它直接影响AI的表...

Jina AI最新推出了一款名为'LLM friendly HTML conversion'的GitHub项目，该项目旨在将网络链接转换为适用于大型语言模型（LLM）的友好Markdown格式。这一工具的开发，将极大地便利开发者和研究者利用LLM进行各种任...

近期研究发现，通过在产品描述中添加策略性文本序列，可以操纵搜索引擎中的大型语言模型，从而使特定产品获得更多曝光。这种方法利用了语言模型对于文本语义的解析能力，通过特定关键词和表述的优化，影响搜索结果的...