在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

在企业中，数据、评估和计算资源对于高性能的人工智能至关重要。评估（evals）可能是组织改进其AI产品的一个关键因素。通过构建针对商业问题的评估体系，企业能够更有效地衡量AI解决方案的性能，并据此进行优化。这...

谷歌宣布，即将推出的Pixel 8手机将在开发者预览版中集成Gemini Nano技术。这一技术的应用旨在增强手机内置应用的功能，特别是录音器中的'Summarize'摘要功能和Gboard键盘的'Smart Reply'智能回复功能。Gemini Nano...

Coframe公司近日推出了一项创新产品——Coframe Living Images，这是一款基于生成型人工智能技术的图像优化工具。通过使用该工具，网站管理员能够在短短几分钟内对网站图片进行A/B测试和优化，从而显著提高网站的用户...

GitHub上出现了一种新的方法，能够精确识别在线内容中引发用户提问的部分。这种被称为“回溯追踪”的技术，旨在帮助内容创作者通过识别和理解困惑、好奇或情绪反应的原因，来优化和完善他们的作品。无论是讲座还是新闻...

CT-RATE是一个将3D医学成像与文本报告相结合的数据集，旨在提供更丰富的医学影像信息。与此同时，CT-CLIP作为一个多功能的人工智能框架，已经针对这些图像进行了优化处理。该框架能够更好地理解和分析医学成像数据，...

1比特语言模型的研究为深度学习领域带来了新的突破。该技术通过在不损失性能的前提下，对语言模型中的线性层进行量化处理，实现了模型大小的大幅压缩。这一创新使得原本只能在高性能计算平台上运行的700亿参数模型，...

英国阿斯顿大学的研究团队通过使用光纤系统中尚未利用的波长带，实现了每秒301太比特的互联网数据传输速度。这一突破性的成就，为未来高速互联网的实现提供了可能性。研究团队通过优化光纤传输技术，显著提高了数据...

近日，英伟达的GPU在MLPerf推理测试中取得了优异的成绩，尤其是H200型号。MLPerf推理测试是业界公认的深度学习性能评估基准，对AI系统的推理能力进行全方位评测。在此次测试中，英伟达的GPU展现了其在处理复杂机器学...