漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-08-29 talkingdev

开源|oLLM:轻量级Python库实现消费级GPU运行100K上下文大模型

近日,GitHub上开源项目oLLM引发开发者社区广泛关注。该项目是一个专为大上下文语言模型推理设计的轻量级Python库,其核心突破在于仅需8GB显存的消费级GPU即可运行Llama-3.1-8B-Instruct等模型处理长达10万token的上...

Read More
2023-10-06 talkingdev

Ctoc:一种轻量级的代码库分析工具开源

Ctoc是一个开源项目,其主要功能是提供一种轻量级的代码库分析工具,可以在令牌级别分析代码库。这种工具允许开发者更深入地理解他们的代码,特别是在处理大型代码库时,它可以帮助开发者更有效地定位和解决问题。Ct...

Read More