阿里巴巴云已经发布了其最新版的大语言模型 - Tongyi Qianwen Qwen2.5。这一新版本在推理、代码理解以及文本理解等方面相比于Qwen2.0有了显著的改进。Qwen2.5的推出标志着阿里巴巴在人工智能语言模型开发上取得了重...

近期，关于如何扩展语言模型的语境的讨论引起了业界的关注。这次讨论并未提供太多的评估方法，但却对语言模型领域的探索方向提供了深度剖析。语言模型的语境是机器学习和自然语言处理中的关键组成部分，对于提高模型...

DiffMatch是一种新颖的半监督变化检测方法，它利用视觉语言模型为未标记的数据合成伪标签，从而提供额外的监督信号。通过这种方式，DiffMatch能够更精确地检测图像中的变化，提高了图像处理和分析的效率和准确性。此...

预测多个令牌的同时生成是当前被积极研究的一个有趣的范式。如果成功，这将大大提高许多大型语言模型的生成速度。本篇文章中的方法，模仿了图像合成中的一致性模型，试图在精调的LLMs上使用并行解码策略来加快生成速...

YOCO架构是一种具有全局注意力能力的解码器-解码器模型，能有效地降低GPU内存需求。它包含一个自解码器和一个交叉解码器，使得关键-值对的缓存和复用更加高效。与传统的Transformer相比，YOCO在推理内存、延迟和吞吐...

llm-ui是一个React库，用于大型语言模型，允许开发人员向输出添加自定义组件。该库可以通过npm安装并导入到React项目中，使得开发人员可以使用自己的组件来定制模型的输出。llm-ui还提供了一些默认的组件来展示模型...

近日，一种新型的标签方法被研究者利用在了图片和文字的配对上，这种方法运用了两次的VLMs（视觉语言模型）扫描，产生了极为详细的图片和文字配对数据。这些配对数据的标题比以往的任何数据集都要详细，能够帮助训练...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...