近日，一项新的LLM（大型语言模型）优化技术在人工智能领域引起了广泛关注。这项技术通过在模型架构和训练算法上的创新，实现了对LLM内存消耗的显著降低，从而大幅度减少了模型部署和运行的成本。具体来说，这项技术...

OpenDevin是一个为AI软件开发者提供通用Agent服务的开放平台，旨在提供一个统一的接口，使得AI软件开发者能够更加方便地使用各种不同类型的AI算法和模型。该平台提供了一系列的工具和接口，包括数据集管理、模型训练...

Quary是一款开源商业智能工具，可以帮助工程师连接数据库，编写SQL查询以转换、组织和记录数据库中的表，创建图表、仪表板和报告，通过版本控制进行测试、协作和迭代重构，以及将组织良好、记录完整的模型部署回数据...

近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

英伟达在其开发者大会上宣布了新一代人工智能芯片及软件。这款名为Blackwell的AI图形处理器预计将于今年晚些时候出货。同时推出的NIM软件旨在简化AI的部署过程。英伟达力求通过NIM软件使得所有模型能够在其所有GPU上...

使用llama.cpp和GGUF服务器，您可以非常快速地部署一个服务于HuggingFace托管模型的端点。这意味着您可以在几分钟内将HuggingFace的最新自然语言处理模型部署到生产环境中。

利用RL调整语言模型正逐渐成为模型部署流程中的标准步骤。现在，这将通过扩散模型以及DRLX的发布变得更加容易，DRLX允许用户指定奖励模型或使用预定义的模型。扩散模型通过简化了RL在语言模型调整中的实现，为AI技术...

随着技术的成熟，WebAssembly的热度逐渐降低。现在，WebAssembly已经足够好，可以在很多生产场景中使用，包括基于浏览器的模型部署。Web AI是一个GitHub仓库，它允许在浏览器中运行现代深度学习模型，这标志着WebAss...

在生产环境中部署扩散模型一直是一个挑战，因为这些模型难以处理，且计算成本高。但是现在，OneDiffusion的出现旨在使部署和微调变得更易于管理、可扩展且可靠。OneDiffusion是一个开源项目，它的目标是使扩散模型在...

训练吞吐量、提示处理吞吐量和生成吞吐量都有不同的成本，并且受到不同计算资源的瓶颈制约。因此，某些工作负载在Llama 70B上实际上比支付GPT-3.5更昂贵。这篇博客写得非常优雅，围绕模型部署考虑问题有一些非常好的...