Groq的低延迟硬件技术现已正式成为Hugging Face Hub及SDK的可选推理服务提供商，这一合作标志着AI基础设施领域的重大突破。通过集成Groq的专用处理器架构，开发者能够以服务器无感知（serverless）方式极速调用Llama...

近日，Kiln公司发布了一篇关于大型语言模型(LLM)微调的深度指南，引发了开发者社区的广泛讨论。文章详细探讨了在什么情况下需要对预训练的大型语言模型进行微调，以及如何开始这一过程的技术细节。随着ChatGPT等大模...

近日，Vercel公司正式推出AI Gateway的alpha测试版本，这一创新性工具允许开发者在无需管理API密钥或账户的情况下，轻松切换使用约100种不同的AI模型。这一技术的推出，标志着AI开发工具链的进一步简化和标准化，有...

近日，一篇题为《Build your own Siri. Locally. On-Device. No Cloud.》的技术文章引发广泛关注。文章详细介绍了如何在本地设备上构建类似Siri的语音助手，完全脱离云端服务，从而确保用户隐私安全。这一技术方案利...

近期，Hugging Face发布了一项名为AutoRound的后训练量化技术，该技术能够在保持模型性能和效率的同时，显著提升低比特量化模型的精度。这一突破性进展为边缘计算和移动端设备部署轻量级AI模型提供了新的可能性，解...

GitHub最新开源项目Anemll（Artificial Neural Engine Machine Learning Library）引发开发者社区广泛关注，该项目实现了在苹果设备神经引擎(ANE)上高效运行大语言模型(LLMs)的技术突破。作为专为ANE优化的机器学习...

Harvey AI近日公开了其创新的AI基础设施架构，通过集中式Python库实现AI模型交互的统一管理，确保部署的可靠性与高性能。该架构采用动态负载均衡和实时监控技术，有效应对突发流量，同时支持无缝模型升级。系统还集...

来自arXiv的最新研究论文提出了一种名为DFloat11的动态长度浮点无损压缩框架，通过创新性地利用LLM权重中BFloat16格式的低熵特性，实现了30%的模型体积缩减，同时保持输出结果与原始模型的比特级一致性。该技术采用...