FrugalGPT是一套可以大幅度降低LLM API成本的策略。这些策略包括提示压缩、缓存等操作。提示压缩可以通过减少数据大小来降低传输和存储成本，同时也可以提高数据处理速度。而缓存则可以通过存储经常访问的数据来减少...

JetMoe是一个基于混合专家模型的新AI系统，通过使用公共数据集和合理的计算资源进行训练，其性能与Meta的Llama 2 7B模型相媲美，但成本仅为10万美元。这一突破性的技术成果不仅展示了在不牺牲性能的前提下降低AI模型...

MLPerf 近日更新了其推理基准测试，新增了如 Llama 2 70B 和 Stable Diffusion XL 等大型语言模型，这一变化体现了整个行业对于大型生成型人工智能的转移。在最新测试中，Nvidia 的系统，尤其是搭载了 H200 处理器的...

MLPerf发布了两个基准测试套件的结果：MLPerf Inference v3.1和MLPerf Storage v0.5。前者显示了创纪录的参与度和性能提升，后者评估了机器学习训练工作负载的存储系统性能。推理基准测试套件引入了一个大型语言模型...

本文探讨了正在崭露头角的因果AI领域，该领域主要关注理解因果关系以提升机器学习系统的性能。文章讨论了因果AI在各个行业中的潜在应用和优势，强调了其在优化决策、预测结果和改进流程方面的能力。因果AI的核心是理...