英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新，这一更新使得AI推理速度大幅提高，达到了比基线快28倍的速度。特别是在Llama 2的基准测试中，能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

视觉语言模型（VLMs）在处理输入图像时，有时会遇到无法回答的问题。即便是最先进的VLMs，如GPT-4V，也面临这一挑战。本文提出了一个针对VLMs在面对无解问题时的基准测试，并探讨了一些可能的改进方向。研究者们通过...

近期，一项名为Qwen MoE的技术引起了业界关注。该技术在保持与强大7B参数模型相当性能的同时，成功将激活参数数量减少至原来的三分之一。这一突破性的进展不仅意味着更低的计算成本，还为大规模机器学习模型的可访问...

在由大型模型系统组织运营的排行榜Chatbot Arena上，Anthropic公司的聊天机器人Claude 3 Opus首次超越了OpenAI的GPT-4。Chatbot Arena是一个开放模型的排行榜，它允许访问者对不同模型的输出进行评分，从而计算出综...

EvoEval是一套全新的基准测试工具，专为评估大型语言模型（LLMs）的编码能力而设计。该测试套件采用了比以往更加严格的测试标准，以确保对LLMs编程能力的全面检测。EvoEval的发布意味着开发者和研究人员现在可以更准...

近期，一项名为VoiceCraft的开源项目在GitHub上引起了广泛关注。该项目通过一个强大的700M参数模型，实现了零样本（Zero shot）的语音克隆和语音合成功能。这意味着用户无需进行任何额外的训练，就能够利用该模型复...

本文介绍了一种结合人工智能与预测模型的控制框架，旨在实现在密集交通中的平稳和安全变道。该框架通过与周围驾驶员的合作，强调了变道过程中的交互与协调。研究者们通过深入分析交通流动数据，建立了一个能够预测其...