近日，一项关于表示容量极限的研究引起了广泛关注。该研究尝试将尽可能多的Token嵌入到一个固定大小的向量中，成功实现了将1568个Token压缩至单一向量。这一突破不仅展示了embedding技术的强大潜力，也为LLM和agent...

近日，Gatsby的开发者团队宣布推出了一款全新的开源JavaScript agent框架——Mastra。该框架旨在为开发者提供一个高效、灵活的工具，以简化复杂agent系统的构建过程。Mastra不仅支持LLM、embedding等先进技术的集成，...

近日，DeepSeek公司推出了一项名为Native Sparse Attention的创新算法技术，旨在加速传统的二次Attention计算。该技术通过硬件对齐和原生可训练的稀疏Attention机制，实现了高达11倍的计算速度提升，同时保持了整体...

近日，CodeI/O技术通过将代码转换为输入输出预测格式，显著提升了大语言模型（LLM）的推理能力。该方法通过教授通用推理原则，而非依赖代码语法，从而在多种推理任务中实现了性能优化。此外，通过多轮修订进一步验证...

随着AI agent技术的快速发展，其应用场景日益广泛，但同时也带来了潜在的滥用风险。近期，业界开始聚焦于如何有效检测AI agent的使用与滥用行为。通过结合LLM、embedding、LoRA和RAG等先进技术，研究人员正在开发更...

2024年，科技行业回顾过去十年，发现许多机遇与挑战并存。尽管技术飞速发展，但在某些领域，我们似乎失去了宝贵的十年。从LLM的崛起到agent技术的广泛应用，再到embedding和LoRA的创新，技术的进步显而易见。然而，R...

近日，研究人员通过优化技术展示了大型语言模型（LLMs）在减少非embedding参数的同时仍能保持学习能力。研究表明，通过用优化的子网络替换密集层，LLMs可以在减少高达77%的参数的情况下，依然保持与原有模型相当的性...

近日，GitHub上发布了一个专门用于评估AI模型在复杂函数调用方面表现的基准测试工具库。该工具库旨在为研究人员和开发者提供一套全面的测试框架，以衡量不同LLM在处理复杂函数调用时的性能。通过这一工具，用户可以...