科研团队近期推出了一项名为DiJiang的创新技术，旨在将现有的Transformer模型转化为更精简、更快速的版本，同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构，大幅减少了计算资源的消耗，使得Tra...

AutoQuant 笔记本是一个新的工具，它可以将 HuggingFace 上的模型导出为五种不同的量化格式，包括 GGUF、GPTQ、EXL2、AWQ 和 HQQ。这些量化格式旨在优化模型的性能和效率，以便在不同的硬件和平台上部署。通过使用 A...

本文中，来自Instacart和Faire的高层领导探讨了Generative AI如何在B2B和B2C市场领域中提升他们的业务，改进内部工作流程，并增强与客户的个性化互动。他们强调AI在加快关键任务、提升生产力和优化运营效率方面的作...

YC支持的25家创业公司通过培训或微调自有的基础模型，打破了构建AI模型需要巨额资源的传统观念。这些公司在短时间内取得了显著成就，如创造专业音乐和设计新型蛋白质。这些公司利用YC的资金和技术支持，跨越不同领域...

近期，GitHub上出现了一个名为Chug的新型数据集加载器项目。Chug专注于处理文本和图像任务，提供了强大且高效的多模态数据加载能力。该工具的出现，对于从事机器学习和人工智能领域的开发者来说，无疑是一个极大的助...

Lightning Whisper MLX是一款针对苹果硅芯片优化的Whisper语音识别算法的高速实现版本。它采用批量解码技术以提高吞吐量，运用蒸馏模型以加快解码速度，并引入量化模型以加速内存传输。相较于传统的Whisper CPP，Lig...

英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新，这一更新使得AI推理速度大幅提高，达到了比基线快28倍的速度。特别是在Llama 2的基准测试中，能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

Total-Decom技术通过从多视角图像中准确分解物体，以最小的用户努力实现3D场景重建，为用户提供了简便的编辑和操控体验。这一技术的出现，标志着3D场景编辑领域的一大进步，使得非专业人士也能轻松进行3D场景的创作...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...