随着人工智能模型的不断发展，越来越多的研究人员开始研究如何在不影响模型准确性的前提下，提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术，可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

Dual Chunk Attention（DCA）扩展了大型语言模型（如Llama2 70B）的能力，使它们能够处理超过100k个令牌而无需额外的训练。它将注意力计算分解成块，增强了模型对短期和长期上下文的理解。

据报道，Meta的Llama团队仍在努力对齐，以使该模型放松并回答更多实际上并不具有争议性的查询。

MobiLlama是一个完全开源、透明、小型的语言模型，适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色，甚至超过了一些更大的模型。

近日，Meta提出了一种三亿五千万参数的语言模型，其强大的推理能力甚至接近Llama 7B在API函数调用任务中的正确性。该模型尚未发布，但固定参数模型的创新值得探索。

OpenCodeInterpreter模型基于CodeLlama和DeepSeek Coder，通过训练合成多轮数据集和使用人类反馈，能够在编程HumanEval基准测试中获得85%以上的准确率。

谷歌工程师和科学家开发了一个新的代码库，名为CPP Gemma推理引擎。与llama.cpp类似，该代码库允许在SIMD CPU架构上进行推理。该工具的目的是鼓励实验和使用昨天发布的Gemma模型。

Google已经发布了其Gemma 2B和7B参数模型的权重，可通过HuggingFace获得。这些模型是仅解码器的Transformer，训练了2T和6T个令牌。它们在各种基准测试中都比Llama 2表现出色，并提供基础和指令调整版本。