根据The Information援引知情人士的报道，知名人工智能公司Anthropic在上个月更新了其财务预测，预计到2025年，通过向企业和应用开发者销售AI服务所获得的毛利率将降至40%。这一数字较此前内部估计的50%出现了显著下...

近日，GitHub上开源了一个名为Mantic的结构代码搜索引擎项目，专为AI代理（AI Agents）设计。该项目旨在解决AI代理在处理大规模代码库时面临的效率与成本问题。Mantic的核心创新在于，它不依赖于传统的嵌入模型或外...

英伟达在混合专家模型（Mixture-of-Experts，MoE）的扩展性能方面取得了重大突破。根据官方公布的数据，其最新的GB200 Blackwell NVL72服务器配置，在MoE AI模型上的性能表现相比上一代的Hopper HGX200架构实现了高...

亚马逊云科技（AWS）在自研AI芯片领域持续发力，近日正式发布了其第三代AI训练专用芯片——Trainium3。这款芯片在性能规格上表现亮眼，标志着AWS在降低AI计算成本、提供多元化算力解决方案方面迈出了重要一步。值得注...

在大型语言模型推理优化领域，Prompt缓存技术正成为提升服务效率、降低计算成本的关键前沿技术。本文深入解析了Prompt缓存的核心工作原理，特别聚焦于vLLM框架中创新的Paged Attention机制及其实现的自动前缀缓存。...

科技公司100x近期实现了一项技术突破，通过将FFmpeg多媒体处理工具直接集成到Chrome扩展的浏览器代理中，使得复杂媒体处理流程彻底摆脱了对服务器、API或文件上传的依赖。这一创新将FFmpeg转化为浏览器代理的标准化...

月之暗面（Moonshot AI）正式发布Kimi Linear技术报告，这项突破性架构通过创新设计实现了对传统全注意力机制的全面超越。该架构在保持同等性能水平下，将KV缓存使用量最高降低75%，在100万上下文长度场景中解码吞吐...

嵌入技术作为现代检索增强生成系统的核心组件，正引发行业对AI基础设施成本结构的深度思考。最新技术分析显示，嵌入向量的生成过程主要依赖矩阵乘法和注意力机制等张量运算，其计算成本可通过浮点运算次数与硬件效率...