Effort引擎为Apple硅芯片上的LLM模型推断提供了实时调整的可能，从而在速度和质量之间找到了平衡。这种方法无需重新训练，但需要转换和预计算，可以通过加载更少的权重使模型运行得更快。开发者正在寻求Swift/Metal...

FrugalGPT是一套可以大幅度降低LLM API成本的策略。这些策略包括提示压缩、缓存等操作。提示压缩可以通过减少数据大小来降低传输和存储成本，同时也可以提高数据处理速度。而缓存则可以通过存储经常访问的数据来减少...

OpenLIT是一个OpenTelemetry原生的GenAI和LLM应用观察性工具，旨在通过只需一行代码，就能实现观察性到GenAI项目的集成过程。OpenLIT的设计理念是简洁而强大，能够帮助开发者快速、有效地将观察性集成到他们的项目中...

2024年3月的最后一周，开源大型语言模型（LLMs）迎来了一次重要的时刻。包括Databricks的DBRX，A21 Labs的Jamba和SambaNova Systems的Samba-CoE在内的多款模型相继发布。这些发布标志着开源AI模型多样化和普及化的关...

MaxText是一个高性能、高可扩展性的开源低级机器学习模型(LLM)，完全使用Python/Jax编写，目标是在Google Cloud的TPUs和GPUs上进行训练和推理。这个项目在GitHub上公开，充分展示了其强大的功能和优秀的性能。MaxTex...

苹果公司近日发布了OpenELM，这是一套包含八种开源语言模型（LLM）的系列产品。这些模型可以高效地在单一设备上运行，用于文本生成任务，其参数大小范围从2.7亿到30亿。OpenELM的发布，标志着苹果在人工智能与机器学...

Dify是一款针对LLM应用程序的视觉化工作流。该工作流利用可视化拖放系统和自定义节点，使用户能够轻松构建、测试和部署LLM应用程序。Dify的主要目标是使开发人员更加高效，通过可视化工具提高开发速度。此外，Dify还...

近年来，随着人工智能技术的飞速发展，越来越多的金融机构开始将自然语言处理技术应用于金融市场分析中。在这方面，LLMs（大规模语言模型）无疑是最受关注的技术之一。LLMs是一种基于深度学习的自然语言处理技术，它...

人工智能(AI)的差异化挑战日益凸显。然而，真正的关键在于不是使用像大型语言模型(LLMs)这样的AI模型，因为这些模型正在变得商品化，而是在于输入这些模型的独特数据。有效的数据工程至关重要，因为它直接影响AI的表...

Gemma和Siglip最近发布了一款小型但功能强大的视觉语言模型（VLLM），该模型专为理解和生成与图像相关联的语言而设计。VLLM利用大规模的LAION和LLaVA数据集进行训练，这些数据集包含了大量的图像和相关文本信息，使...