近日，DeepSeek公司推出了一项名为Native Sparse Attention的创新算法技术，旨在加速传统的二次Attention计算。该技术通过硬件对齐和原生可训练的稀疏Attention机制，实现了高达11倍的计算速度提升，同时保持了整体...

近日，研究人员通过优化技术展示了大型语言模型（LLMs）在减少非embedding参数的同时仍能保持学习能力。研究表明，通过用优化的子网络替换密集层，LLMs可以在减少高达77%的参数的情况下，依然保持与原有模型相当的性...

近期，DeepScaleR的研究成果引起了广泛关注。该研究通过扩展强化学习（RL）训练，成功开发出一款1.5B参数的模型，其性能超越了O1-Preview。研究团队采用了一种独特的方法，即在RL训练过程中逐步增加上下文长度，从而...

近日，OpenAI发布了其最新研发的O3-Mini模型，这一小型化AI模型在性能和效率上取得了显著突破。O3-Mini采用了先进的embedding技术和LoRA优化策略，使其在保持高精度的同时，大幅降低了计算资源的消耗。该模型特别适...

近日，DeepSeek公司发布了其最新的R1-Zero和R1技术架构，引发了业界的广泛关注。R1-Zero作为一款轻量级模型，专注于低资源环境下的高效运行，特别适用于边缘计算和物联网设备。其采用了先进的LoRA技术，能够在保持高...

本文综述了基础模型的参数高效微调技术，深入探讨了在保持多样化任务性能的同时，如何最小化计算成本的方法。随着基础模型（如LLM）的广泛应用，参数高效微调技术（如LoRA、RAG等）成为研究热点。这些技术通过减少需...

近日，一项名为TREAD（Token Routing for Efficient Architecture-agnostic Diffusion Training）的新技术引起了广泛关注。该技术通过创新的Token Routing机制，显著提升了扩散模型（Diffusion Models）的样本效率，...

随着人工智能技术的快速发展，一个全新的AI模型被开发出来，旨在实现在普通消费级硬件上快速生成图像。这项技术利用深度学习算法和神经网络，使得图像创建过程几乎无需等待时间，大大提升了图像生成的效率。以往的图...