斯坦福人工智能与人类中心研究所（Stanford HAI）最新发布的“基础模型透明度指数”显示，主要的AI基础模型开发者在社会影响方面提供的信息不足。虽然Meta的Llama 2在透明度方面得分最高，为54%，其次是BloomZ和OpenAI...

虽然华尔街投资者很难评估和理解Meta开源的AI方法，但是科技行业中的许多人认为，将Llama定位为类似于Linux的做法是一个聪明的选择。Meta的方法是基于AI拼图的开发，这种方法将AI分解成许多小块，使其更容易理解和开...

将模型从云存储加载到节点GPU通常需要大部分推理时间。通过一些巧妙的技巧，例如内存流，Anyscale将其缩短了20倍，仅需30秒即可到达Llama 2 70B。

研究人员开发了一种新技术，将声音信息和语言数据结合起来，纠正自动语音识别系统中的错误。该技术基于交叉模态融合，使用视觉和语言信息来提供更准确的识别结果。此外，该技术还可以提供更好的语音合成能力。研究人...

人工智能驱动软件的下一步演变并非聊天机器人，而是利用LLMs来完成实际工作的应用。AI基础设施联盟的此篇电子书全面覆盖了此领域的各个方面，包括Prompt工程、LLM逻辑和推理、主要框架如LlamaIndex、LangChain、Hays...

随着越来越多的新模型问世，寻找一种能够轻松拉取并运行这些模型的方法变得具有挑战性。而且，重新混合和制作这些模型也不是一件容易的事情。然而，这款名为Ollama的小工具让测试最新模型变得简单。这款工具具有用户...

ExLlamaV2是一个在GitHub上开源的项目，它是为现代消费级图像处理单元（GPU）上运行本地语言模型（LLMs）而设计的推理库。这款推理库的出现，可以帮助用户在个人电脑上使用现代GPU进行深度学习模型的推理计算，而无...

人工智能领域的新闻总是让人振奋人心，最近有关Llama 2的消息开始引起了人们的关注。Llama 2是由OpenAI推出，这是一款新的人工智能模型，用于自然语言处理。Llama 2被称为是GPT-3.5/4的替代品，因为它可以在大多数任...

语言模型推理通常较慢，因为这些模型的运行严重依赖内存。为了解决这一问题，人们引入了使用较小的草稿模型进行推测性解码，以“提前”提供给大模型的建议。这种方法效果不错，但实现起来复杂，且寻找一个好的草稿模型...

小型羊驼（Tiny Llama）项目旨在为3T代币训练出一个参数为11亿的羊驼2（Llama2）模型。根据扩展规律，这对于计算优化来说无疑是严重的过度训练，但它对于部署优化带来了显著的收益。此次的模型训练打破了传统的优化...