Mistral Saba是一款基于中东和南亚地区精心策划数据集训练的24B参数模型。尽管其规模仅为同类模型的五分之一,但Mistral Saba在提供更准确和相关响应方面表现出色,同时显著降低了计算成本和响应时间。这一突破性技...
Read MorexAI公司近日发布了其最新旗舰人工智能模型Grok 3,并展示了针对iOS和网页应用的新功能。Grok 3的训练使用了位于孟菲斯的庞大数据中心,该中心配备了约20万个GPU。Grok 3系列模型包括:Grok 3 mini,它以牺牲部分准确...
Read More近日,CodeI/O技术通过将代码转换为输入输出预测格式,显著提升了大语言模型(LLM)的推理能力。该方法通过教授通用推理原则,而非依赖代码语法,从而在多种推理任务中实现了性能优化。此外,通过多轮修订进一步验证...
Read More在2024年,TeX和Typst作为两种重要的排版模型,继续在技术领域展现出其独特的优势。TeX作为一种历史悠久的排版系统,以其强大的数学公式处理能力和高度的可定制性,依然在学术界和出版界占据重要地位。而Typst作为一...
Read More近日,一项名为Mask-Enhanced Autoregressive Prediction(MEAP)的技术在GitHub上发布,该技术通过将Masked Language Modeling(MLM)整合到仅解码器的Transformer中,显著提升了信息检索任务的性能,同时保持了强...
Read More近日,研究人员通过优化技术展示了大型语言模型(LLMs)在减少非embedding参数的同时仍能保持学习能力。研究表明,通过用优化的子网络替换密集层,LLMs可以在减少高达77%的参数的情况下,依然保持与原有模型相当的性...
Read More近日,GitHub上发布了一个专门用于评估AI模型在复杂函数调用方面表现的基准测试工具库。该工具库旨在为研究人员和开发者提供一套全面的测试框架,以衡量不同LLM在处理复杂函数调用时的性能。通过这一工具,用户可以...
Read More近日,Jakiro团队通过引入Mixture of Experts(MoE)技术,成功优化了Speculative Decoding的性能。该方法通过生成多样化的预测结果,减少了候选预测之间的相关性,从而显著提升了推理速度。Speculative Decoding作...
Read More