Google在今天的发布中公布并展示了一些开源模型。其中一个已经发布的模型是基于SigLIP的视觉语言模型。这个模型非常容易调整和扩展到多种任务。这个Colab笔记本展示了如何用简洁、易读的代码来实现这一点。SigLIP是...

近期，关于如何扩展语言模型的语境的讨论引起了业界的关注。这次讨论并未提供太多的评估方法，但却对语言模型领域的探索方向提供了深度剖析。语言模型的语境是机器学习和自然语言处理中的关键组成部分，对于提高模型...

理解Transformer的工作原理常常需要多次尝试。本篇博客文章通过详细解读Gemma架构，帮助读者深入理解Transformer。文章内容明了，包含了代码和图解，无论是对于初学者还是专业人士来说，都能从中获取到有价值的信息...

Gemma和Siglip最近发布了一款小型但功能强大的视觉语言模型（VLLM），该模型专为理解和生成与图像相关联的语言而设计。VLLM利用大规模的LAION和LLaVA数据集进行训练，这些数据集包含了大量的图像和相关文本信息，使...

谷歌近期成功训练了一套名为Gemma的代码模型和循环Gemma模型。这些新模型展现出了与现有技术相媲美的性能，并且已经集成了FIM（查找插入记忆）功能。值得注意的是，循环Gemma模型在运行速度和内存效率方面都有显著提...

OpenChat 团队的最新力作 Gemma，自推出以来便面临着调优的挑战。尽管困难重重，但 OpenChat 团队通过不懈努力，成功实现了与 Mistral 调优性能相匹配的成果。这一成就不仅展示了 OpenChat 团队的技术实力，也为未来...

在移动设备上运行语言模型面临着延迟、带宽和功耗等多方面的挑战。本研究通过采用量化技术、移除键值缓存以及其他优化手段，成功实现了在手机上以每秒30个令牌的速度运行强大的Gemma 2B模型。这一成果比其他框架快约...

Unsloth 项目旨在重写训练和推理语言模型的重要内核。它发布了一个示例，其中包括 Google 开源的 Gemma 模型的代码。通过使用 Unsolth，Gemma 的训练速度可以提高 2.4 倍。这个项目的目标是通过修改模型的内核，实现...