近日，开源推理引擎WASTE正式亮相，其核心亮点在于能够运行权重规模远超宿主设备物理内存的模型。该引擎作为让强大模型在更多硬件上可用的初步举措，旨在为个人和机构在基础设施成本、数据隐私、可用性及部署方式上...

英伟达在Hugging Face上正式推出Cosmos 3 Edge，这是一款拥有40亿参数的开源世界模型，专为边缘设备上的机器人与视觉AI体设计。该模型通过共享的世界表征，将环境理解、实时预测、模拟与动作生成统一在同一框架下，...

近日，Liquid AI宣布推出其最新基础模型LFM2.5-230M，这是一款参数规模仅为2.3亿的非Transformer架构模型。与当前主流的Transformer模型不同，LFM2.5-230M基于状态空间模型与液态神经网络连续时间公式构建。尽管体积...

Tether团队近日发布了QVAC SDK的最新版本，这是一款面向本地设备、专注于构建跨平台P2P应用的开源工具包。此次更新的核心亮点在于集成了名为TurboQuant的全新优化技术。通过这一技术，开发者在相同硬件条件下，能够...

在大型语言模型（LLM）和视觉语言模型（VLM）部署中，模型量化是降低计算和存储成本的关键技术。然而，传统量化方法往往需要在模型大小和推理精度之间做出艰难取舍，尤其是在超低位宽（如2-bit、3-bit）下，精度损失...

近日，GitHub上一个名为‘soulplayer-c64’的开源项目引发了技术社区的广泛关注。该项目成功地在仅有1MHz主频、内存极其有限的经典计算机Commodore 64上，部署并运行了一个拥有25,000个参数的真实Transformer神经网络...

近日，GitHub上出现了一个名为Gemma Gem的开源项目，它是一个Chrome浏览器扩展，能够将谷歌最新发布的Gemma 4大型语言模型完全在用户本地设备上运行。该项目最大的技术亮点在于，它通过新兴的WebGPU API来实现高性能...

近日，GitHub上开源项目RCLI引发开发者社区关注。该项目是一款专为搭载Apple Silicon芯片的macOS设备设计的全本地化语音AI助手。其核心价值在于构建了一个完整的端侧AI处理流水线，集成了语音识别（Speech-to-Text）...