Mistral Saba是一款基于中东和南亚地区精心策划数据集训练的24B参数模型。尽管其规模仅为同类模型的五分之一，但Mistral Saba在提供更准确和相关响应方面表现出色，同时显著降低了计算成本和响应时间。这一突破性技...

xAI公司近日发布了其最新旗舰人工智能模型Grok 3，并展示了针对iOS和网页应用的新功能。Grok 3的训练使用了位于孟菲斯的庞大数据中心，该中心配备了约20万个GPU。Grok 3系列模型包括：Grok 3 mini，它以牺牲部分准确...

近日，CodeI/O技术通过将代码转换为输入输出预测格式，显著提升了大语言模型（LLM）的推理能力。该方法通过教授通用推理原则，而非依赖代码语法，从而在多种推理任务中实现了性能优化。此外，通过多轮修订进一步验证...

在2024年，TeX和Typst作为两种重要的排版模型，继续在技术领域展现出其独特的优势。TeX作为一种历史悠久的排版系统，以其强大的数学公式处理能力和高度的可定制性，依然在学术界和出版界占据重要地位。而Typst作为一...

近日，一项名为Mask-Enhanced Autoregressive Prediction（MEAP）的技术在GitHub上发布，该技术通过将Masked Language Modeling（MLM）整合到仅解码器的Transformer中，显著提升了信息检索任务的性能，同时保持了强...

近日，研究人员通过优化技术展示了大型语言模型（LLMs）在减少非embedding参数的同时仍能保持学习能力。研究表明，通过用优化的子网络替换密集层，LLMs可以在减少高达77%的参数的情况下，依然保持与原有模型相当的性...

近日，GitHub上发布了一个专门用于评估AI模型在复杂函数调用方面表现的基准测试工具库。该工具库旨在为研究人员和开发者提供一套全面的测试框架，以衡量不同LLM在处理复杂函数调用时的性能。通过这一工具，用户可以...

近日，Jakiro团队通过引入Mixture of Experts（MoE）技术，成功优化了Speculative Decoding的性能。该方法通过生成多样化的预测结果，减少了候选预测之间的相关性，从而显著提升了推理速度。Speculative Decoding作...