在LLM的预训练过程中，网络爬虫获取的数据往往因文本提取效率低下而被大量丢弃。然而，近期一项开源项目在GitHub上发布，显著提升了文档的保存率，并利用这些数据在少量爬取内容的基础上训练出更强大的模型。该项目...

近日，LLM-Oasis作为一个大规模数据集正式发布，旨在为训练和评估系统提供支持，以检测和提升LLM（大语言模型）输出的事实性。随着LLM在自然语言处理领域的广泛应用，其生成内容的准确性和可靠性成为业界关注的焦点...

Figure公司近日展示了一款新型Vision-Language-Action（VLA）模型，专为人形机器人设计。VLA模型通过结合视觉和语言命令处理信息，使得机器人能够通过视频和大型语言模型的组合进行训练。Figure的Helix模型特别引人...

近日，一项关于表示容量极限的研究引起了广泛关注。该研究尝试将尽可能多的Token嵌入到一个固定大小的向量中，成功实现了将1568个Token压缩至单一向量。这一突破不仅展示了embedding技术的强大潜力，也为LLM和agent...

近日，DeepSeek公司推出了一项名为Native Sparse Attention的创新算法技术，旨在加速传统的二次Attention计算。该技术通过硬件对齐和原生可训练的稀疏Attention机制，实现了高达11倍的计算速度提升，同时保持了整体...

近日，一款名为Kreuzberg的现代异步Python库在技术社区中引起了广泛关注。该库专注于文档文本提取，旨在为开发者提供高效、灵活的解决方案。Kreuzberg通过异步编程模型，显著提升了文本提取的速度和效率，尤其适用于...

近日，一项名为Mask-Enhanced Autoregressive Prediction（MEAP）的技术在GitHub上发布，该技术通过将Masked Language Modeling（MLM）整合到仅解码器的Transformer中，显著提升了信息检索任务的性能，同时保持了强...

近日，Meta在Hugging Face Hub上发布了其最新研发的MobileLLM模型检查点。这一系列模型专为移动设备优化，尽管体积小巧，但性能强大，能够在资源受限的环境中高效运行。MobileLLM的推出标志着Meta在移动端AI技术领域...