漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-10-13 talkingdev

开源|微软推出Edge AI入门课程:从模型优化到智能代理开发

微软近日在GitHub开源社区正式发布《Edge AI for Beginners》系列课程,该项目专为人工智能初学者设计,系统性地介绍了边缘计算与AI结合的完整技术栈。课程内容涵盖边缘AI基础架构、主流轻量级模型(如MobileNet、Ti...

Read More
2025-09-10 talkingdev

Firefox本地AI运行时性能大幅提升,推理速度最高加快10倍

Mozilla近日宣布对Firefox浏览器的AI运行时进行重大架构升级,将原本基于WebAssembly的“onnxruntime-web”替换为直接集成到浏览器底层的原生C++ ONNX Runtime。这一技术革新使Firefox的本地AI功能获得2-10倍的推理性...

Read More
2025-08-20 talkingdev

开源|Lemonade:高性能本地大语言模型推理服务器

Lemonade是一个专为现代计算硬件优化的开源推理服务器,致力于帮助开发者和研究者在本地高效运行大型语言模型。该项目通过集成最先进的推理引擎,可自动适配不同厂商的NPU(神经网络处理器)和GPU硬件平台,实现计算...

Read More
2024-07-05 talkingdev

支持在浏览器WebGPU上运行的Florence 2模型

Florence 2是一个小型视觉模型,完全基于onnx和WebGPU在浏览器中运行。WebGPU是一种新型的Web标准,为Web应用程序提供高效的低级图形和计算功能。这种模型旨在帮助开发者更好地理解和利用WebGPU的性能优势。Onnx则是...

Read More
2023-10-04 talkingdev

OnnxStream,在树莓派Zero 2上运行Stable Diffusion 1.5

最近,一款名为OnnxStream的程序在GitHub上引起了广泛的关注。这款程序可以让用户在树莓派Zero 2上运行Stable Diffusion 1.5。这一技术的实现,无疑为那些希望在低功耗设备上运行复杂算法的用户提供了一个新的可能。...

Read More
2023-05-01 talkingdev

Wonnx推出全新GPU加速ONNX推理运行时,100%采用Rust编写,支持Web应用

以下是该新闻的核心内容: - Wonnx是一个全新的GPU加速ONNX推理运行时,它完全采用Rust编写,可用于Web应用程序。 - 比起其他推理运行时,Wonnx具有更高的性能和更低的延迟。 - Wonnx是一个开源项目,现在可以在Git...

Read More