近期，Hacker News上的一篇帖子引发了社区的热烈讨论，主题是关于小型语言模型（LLM）的创新应用。在这个数据驱动的时代，大型语言模型以其强大的功能和广泛的应用而备受瞩目。然而，小型语言模型以其较小的规模和较...

2023年的研究项目TinyStories提出一个引人入胜的问题：语言模型可以小到什么程度，还能流利地表达英语？随着人工智能技术的进步，人们对高效而准确的小型语言模型的兴趣日益增长。TinyStories的研究人员尝试通过缩小...

微软最新发布了Phi-4语言模型，这是一个小型模型，但在处理复杂推理任务方面表现出色。Phi-4通过先进的自然语言处理技术，能够理解和生成复杂的文本内容，特别擅长于解决需要深度逻辑分析的问题。其小巧的模型尺寸意...

Hugging Face近日推出了一套名为SmolLLM的小型语言模型套件，其性能超越许多大型模型。这主要得益于数据集的精心策划和管理。SmolLLM以其精细的设计和优化，展示出了小型语言模型的巨大潜力和价值。这种模型不仅在处...

科技巨头们正在将注意力从大型语言模型转移到更有效的小型语言模型（SLMs），苹果和微软引入的模型具有明显较少的参数，但在基准测试中的性能却相当甚至超越了大型语言模型。OpenAI的CEO建议，我们正在超越LLMs的时...

微软正式发布了其Phi-3模型，并推出了Phi-3-Silica，这是一款专为Copilot+ PC中的神经处理单元优化的小型语言模型。Phi-3-Silica拥有33亿参数，能够在低功耗的情况下提供快速的本地推理。这标志着在Windows设备中直...

OpenAI的超对齐团队开发了一款名为Transformer Debugger的工具，以支持对小型语言模型的特定行为进行调查。该工具将自动可解释性技术与稀疏自编码器相结合。

Transformer Debugger是一种工具，它通过将自动可解释性技术与稀疏自动编码器相结合，支持对小型语言模型的特定行为进行调查。

MobiLlama是一个完全开源、透明、小型的语言模型，适用于移动设备。它的表现对于一个0.5B参数模型来说非常出色，甚至超过了一些更大的模型。

近日，一项名为LLMLingua的新项目在GitHub上开源。该项目使用对齐后的小型语言模型检测提示中的无关标记，并实现对黑盒LLM的压缩推理，从而实现了高达20倍的压缩比，且性能损失最小。简言之，LLMLingua能够帮助开发...