随着人工智能向智能体（Agent）方向演进，传统的大模型推理基准测试正面临根本性变革。智能体工作负载不再是简单的单轮问答，而是包含多轮交互、工具调用等复杂场景。这种变化给推理引擎带来了前所未有的压力，尤其...

近日，GitHub上一个名为‘soulplayer-c64’的开源项目引发了技术社区的广泛关注。该项目成功地在仅有1MHz主频、内存极其有限的经典计算机Commodore 64上，部署并运行了一个拥有25,000个参数的真实Transformer神经网络...

近日，GitHub上出现了一个名为Gemma Gem的开源项目，它是一个Chrome浏览器扩展，能够将谷歌最新发布的Gemma 4大型语言模型完全在用户本地设备上运行。该项目最大的技术亮点在于，它通过新兴的WebGPU API来实现高性能...

近期，科技行业观察者指出，几乎所有致力于构建个人AI助手的公司，其商业模式都深度依赖广告收入。这些公司不仅通过广告为AI服务的研发和运营提供资金，还正在大力推广能够24/7不间断进行音频和视频监听的智能硬件设...

近日，多家领先的AI推理服务提供商，包括Baseten、DeepInfra、Fireworks AI和Together AI，宣布通过在其服务中部署基于NVIDIA Blackwell架构的GPU并运行开源模型，成功将每次推理的令牌成本大幅降低了高达10倍。这一...

人工智能开源社区Hugging Face近日在NPM上发布了Transformers.js v4的预览版本，标志着在Web端及JavaScript生态系统中部署和运行机器学习模型的能力迈入了新的阶段。Transformers.js的核心价值在于允许开发者直接在...

根据The Information援引知情人士的报道，知名人工智能公司Anthropic在上个月更新了其财务预测，预计到2025年，通过向企业和应用开发者销售AI服务所获得的毛利率将降至40%。这一数字较此前内部估计的50%出现了显著下...

近日，由D2I-ai团队在GitHub上开源的DASD（序列蒸馏）项目，提出了一种创新的模型蒸馏流程，旨在训练出更紧凑、高效的模型以应对复杂的推理任务。该流程整合了温度调度学习与发散感知采样等前沿技术，通过精细化的知...