近日，分词器研究者Sander Land复现了类似Claude当前使用的分词器，发现其词表规模仅约15000个条目。这一结果与近年来大模型“词表越大越好”的主流趋势形成明显反差。由于大模型最终输出层的softmax计算成本与词表大...

在开源大语言模型百花齐放的今天，一个模型究竟是真正从零开始预训练，还是基于现有开源权重衍生微调，常让外界难以分辨。Hugging Face社区发布的“Model Genome”项目，首次提出用类似生物基因指纹的方式为模型“验明...

Anthropic近日通过引入全新分词器（Tokenizer），对其最新旗舰模型Claude Opus 4.7进行了核心升级。此次优化显著提升了模型对输入文本的理解精度，但同时也带来了一个直接影响用户的改变：成本结构调整。虽然模型的...

在GPT-5.x等大型语言模型处理文本之前，所有输入都必须经过一个关键的前置组件——分词器。分词器本质上是一个压缩层，负责将原始文本转换为一系列整数ID序列。近日，一篇深度技术分析文章通过逆向工程OpenAI开源的分...

最新研究表明，新一代大语言模型在字符级文本处理任务上取得显著突破。相比早期版本，GPT-5和Claude Sonnet 4.5等模型在字符计数、字符替换、密码解码等需要精细化文本操作的任务中表现出色。这一进步表明模型正在从...

最新研究表明，大语言模型存在系统性偏好短词元的倾向，这一发现对自然语言处理领域具有重要影响。由于短词元拥有更多可能的后续组合方式，模型可能会优先选择这些‘松散词元’，即使它们并非最佳语义选择。该研究进一...

Chonkie是一款革命性的开源文本分块库，以其超轻量级架构和闪电般的处理速度重新定义了文本预处理效率。作为GitHub上的明星项目，它具备多语言处理能力、云端就绪特性以及丰富的功能集，支持主流分词器、嵌入模型和A...

近期，SilentView团队在GitHub开源了名为GigaTok的超大规模图像分词器项目，其参数量高达30亿（3B），在图像重建任务中展现出卓越性能。传统图像分词器在规模化过程中常面临性能崩溃问题，而GigaTok通过创新的解码器...