漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2025-04-30 talkingdev

Promptrepo:无需编码,用Google Sheets即可微调AI模型

Promptrepo团队推出了一款创新工具,旨在让产品团队(而不仅仅是机器学习工程师)能够轻松进行AI模型的微调。OpenAI首席产品官近期分享了微调技术在从客户支持到深度研究等领域的广泛应用,并称其为严肃AI团队的未来...

Read More
2025-04-25 talkingdev

[论文推荐] 无损压缩大模型:动态长度浮点技术实现70%体积缩减,GPU推理效率飞跃

来自arXiv的最新研究论文提出了一种名为DFloat11的动态长度浮点无损压缩框架,通过创新性地利用LLM权重中BFloat16格式的低熵特性,实现了30%的模型体积缩减,同时保持输出结果与原始模型的比特级一致性。该技术采用...

Read More
2025-04-25 talkingdev

HP AI Studio助力本地化部署:将DeepSeek-R1大模型蒸馏至个人设备

惠普AI Studio推出创新技术方案,通过模型蒸馏技术将前沿大语言模型DeepSeek-R1的推理能力压缩至可在本地设备运行的轻量级版本。该技术突破实现了大模型从云端到本地的迁移,用户可通过Ollama框架进行本地推理部署,...

Read More
2025-04-17 talkingdev

[开源]Prima CPP:低内存环境下运行大模型的创新方案

Prima CPP是llama.cpp的一个扩展项目,旨在通过内存映射(mmaping)技术,使大型模型能够在低内存环境中高效运行。这一技术突破为资源受限的设备部署先进AI模型提供了可能,尤其适用于边缘计算和移动端场景。通过优...

Read More
2025-04-16 talkingdev

[开源]Auto Deploy (GitHub Repo):NVIDIA推出PyTorch和Hugging Face模型高效部署新方案

NVIDIA在GitHub开源项目TensorRT-LLM中发布了名为Auto Deploy的创新工具,该技术实现了将PyTorch和Hugging Face模型转化为高效可部署格式的重大突破。通过TensorRT-LLM的优化编译器,模型推理速度可提升数倍,特别适...

Read More
2025-04-07 talkingdev

Meta发布Llama 4模型套件,新增四款人工智能模型

Meta公司新推出的Llama 4模型套件包含了四款全新的AI模型,分别是Maverick、Scout、Behemoth和Reasoning。Maverick与Scout两款模型现已开放下载,用户可以在Llama官网以及Hugging Face平台获取,并已集成至Meta AI系...

Read More
2025-04-07 talkingdev

[论文推荐]Rope to Nope:混合注意力机制突破长上下文处理极限

Meta最新发布的Llama 4模型通过创新性的混合位置编码策略,实现了超过1000万tokens的上下文处理能力。该技术核心在于交替使用无位置嵌入(NoPE)和旋转位置嵌入(RoPE),在保持计算效率的同时显著扩展了上下文窗口...

Read More
2025-04-01 talkingdev

[开源]Orpheus:无需GPU的轻量级文本转语音系统

开源项目Orpheus近期引发开发者社区关注,该项目通过C++实现了一个高效易用的文本转语音(TTS)系统。与Llama.cpp类似,其最大技术亮点在于完全脱离GPU依赖,仅需简单安装即可在普通计算设备上运行,显著降低了语音合...

Read More
  1. Prev Page
  2. 2
  3. 3
  4. 4
  5. Next Page