近日，GitHub上开源了一个名为MoDA的项目，它实现了一种创新的注意力机制——混合深度注意力。该机制的核心突破在于，允许注意力头同时访问当前层以及更早层的键值对。这一设计旨在解决随着模型深度增加，信息在传递过...

人工智能研究机构Percepta近期发布了一项前沿研究成果，探讨了大型语言模型（LLMs）作为通用计算设备的可能性。该研究成功在Transformer架构内部构建了一个“计算机”，能够高效执行任意的C语言程序，并运行数百万个计...

构建一个基础的检索增强生成（RAG）系统原型或许只需一个下午，但将其转化为能够稳定处理海量请求的生产级系统则面临巨大挑战。Algolia最新发布的技术白皮书《在搜索解决方案中实施RAG时需要了解的事项》深度剖析了...

近日，一项针对亚马逊的指控引发科技与商业领域广泛关注。据The Big Newsletter报道，亚马逊被指实施了一项系统性、范围广泛的价格操纵计划，该计划涉嫌通过其平台算法和商业政策，人为抬高平台上销售的商品价格，其...

近日，在GitHub上开源名为“ntransformer”的高效大语言模型推理引擎项目，其核心创新在于探索并实现了通过NVMe存储设备直接与GPU通信，绕过CPU和系统内存的传统数据路径，从而在消费级显卡RTX 3090上成功运行了参数量...

在GPT-5.x等大型语言模型处理文本之前，所有输入都必须经过一个关键的前置组件——分词器。分词器本质上是一个压缩层，负责将原始文本转换为一系列整数ID序列。近日，一篇深度技术分析文章通过逆向工程OpenAI开源的分...

欧盟正采取强硬措施，针对社交媒体平台广泛采用的“无限滚动”等成瘾性设计功能发起监管挑战。根据欧盟《数字服务法》的授权，布鲁塞尔方面计划要求包括TikTok、Meta旗下Facebook与Instagram在内的主要平台，必须为用...

Meta（原Facebook）旗下研究团队近日在GitHub开源了AIRS-Bench基准测试框架，旨在系统性地量化大型语言模型（LLM）代理在真实世界人工智能研究任务中的端到端能力。该基准包含20个精心设计的机器学习研究任务，每个...