近日，一种新型的标签方法被研究者利用在了图片和文字的配对上，这种方法运用了两次的VLMs（视觉语言模型）扫描，产生了极为详细的图片和文字配对数据。这些配对数据的标题比以往的任何数据集都要详细，能够帮助训练...

ChemFlow是一个新的框架，旨在通过使用深度生成模型高效地导航化学空间，从而提高分子科学的效率。这种新型框架的出现，使化学研究人员能够在化学空间中更加精准地进行探索和导航，从而为分子科学领域的研究和发展开...

QoQ，一种新型量化算法，通过使用4位权重、8位激活和4位KV缓存，加速了大型语言模型推理。量化是一种广泛应用于深度学习中的技术，它能够减少模型的存储需求和计算复杂性。在这种情况下，QoQ算法采用了较低精度的数...

DeepSeek近期推出了一个具有超过2000亿参数的模型DeepSeek-V2，其中激活参数达到210亿。无论是在编码还是推理方面，该模型的表现都极为出色。虽然目前尚不清楚其性能是否超过了拥有700亿参数的Llama 3模型，但无疑，...

Unsloth.ai的创始人近期发布了一段视频，详述了他们的团队如何使用PyTorch，编写他们的内核，以及设计他们的API界面。Unsloth的框架和库功能强大，易于使用。Unsloth通过这种方式，使得大量的开发者能够更好地进行深...

近日，一款名为Mistral.rs的LLM推理平台在GitHub上备受关注。它可以支持多种设备上的推理，支持量化，并且具有易于使用的应用程序，带有OpenAI API兼容的HTTP服务器和Python绑定。无论是在深度学习推理、设备兼容性...

浮点精度的降低能够提高训练速度，但可能会导致不稳定的现象。最新的研究论文展示，通过新的装包格式FP6-LLM，可以在不引发常见不稳定性或由于尝试不当引发的训练速度下降的情况下，实现全张量核心的利用。这一突破...

近日，与Hugging Face团队相关联的研究者们，训练并评估了一种名为JAT（Jack-of-All-Trades）的模型，这是一种全面任务模型，能在各种不同的任务上表现出相当的效果。此模型的出现，为深度学习领域的多任务学习提供...