企业级AI平台Lamini使企业内的软件团队能够开发出新的LLM能力，减少对专有数据的幻觉，安全地从云VPCs到现场运行他们的LLM，并通过模型评估来扩大他们的基础设施，这些模型评估优先考虑ROI和业务成果而非炒作。Lamin...

苹果公司即将在iOS 18中，为Safari、Spotlight Search和Siri增强AI相关功能。Safari的其中一个关键功能是文本摘要。 Siri也将获得类似的更新，使其能够以简化的方式生成响应来传递消息的内容。苹果的AI模型将完全在...

一项最新的研究揭示了一种能够显著扩展语言模型上下文长度至128K的方法。这项研究强调了大量和多样性的训练数据的重要性。语言模型的上下文长度是语言模型理解和生成连贯文本的能力的一个重要因素。此项新的研究方法...

最近，GitHub仓库上新增了一款名为Phospho的文本分析平台。这款平台主要针对LLM应用进行文本分析，提供了一种全新的处理文本数据的方法。Phospho可以帮助开发者处理大量的文本数据，提取有用的信息，并进行深度分析...

QUICK是一套新的优化CUDA内核，通过解决内存问题，提升了大型语言模型的效率。这导致了NVIDIA GPU上的显著速度提升，使AI模型运行更快，效率更高。QUICK的出现，无疑为AI领域带来了新的可能性，通过优化内存处理方式...

Meta发布了一款名为ExecuTorch的框架，这是一个后训练量化工具包，能够支持在各种iPhone和Galaxy设备上运行Llama模型。该框架能够在运行7B大小语言模型的手机上，每秒获取多达11个令牌。ExecuTorch框架的发布，进一...

近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

浮点精度的降低能够提高训练速度，但可能会导致不稳定的现象。最新的研究论文展示，通过新的装包格式FP6-LLM，可以在不引发常见不稳定性或由于尝试不当引发的训练速度下降的情况下，实现全张量核心的利用。这一突破...

Effort引擎为Apple硅芯片上的LLM模型推断提供了实时调整的可能，从而在速度和质量之间找到了平衡。这种方法无需重新训练，但需要转换和预计算，可以通过加载更少的权重使模型运行得更快。开发者正在寻求Swift/Metal...

FrugalGPT是一套可以大幅度降低LLM API成本的策略。这些策略包括提示压缩、缓存等操作。提示压缩可以通过减少数据大小来降低传输和存储成本，同时也可以提高数据处理速度。而缓存则可以通过存储经常访问的数据来减少...