一项名为“Power”注意力的创新技术通过引入超参数p,实现了对状态大小的独立控制,有效解决了长上下文训练中计算成本平衡的难题。该机制在长序列任务中表现优于标准注意力,并支持定制GPU内核,在64k上下文长度下速度...
Read More谷歌开发者博客宣布,其首个Gemini Embedding文本模型现已在Gemini API和Vertex AI中正式向开发者开放。这一模型提供了跨领域的统一尖端体验,支持超过100种语言,并具备2048个最大输入标记长度的处理能力。Gemini E...
Read More一项名为'基于能量的Transformer'(Energy-Based Transformers)的新型架构在机器学习领域取得突破性进展。该技术摒弃了传统的直接预测方式,转而采用学习验证函数来评估输入与候选输出之间的兼容性得分。这种创新架...
Read MoreHugging Face最新推出的SmolLM3是一款完全开源的3B参数语言模型,支持六种语言,具备强大的推理能力和长上下文处理能力。该模型旨在小型模型领域实现高性能,为多语言处理和复杂推理任务提供了新的解决方案。SmolLM3...
Read More艾伦人工智能研究所(AI2)近日推出OLMo 2全开源语言模型家族,标志着大模型开源生态取得重大突破。该系列包含32B、13B、7B和1B四种参数规模,其中旗舰型号OLMo 2 32B成为首个在主流基准测试中同时超越GPT-3.5 Turbo...
Read More德国知名技术咨询公司TNG Technology Consulting GmbH近日发布了其最新研发的DeepSeek-TNG R1T2 Chimera模型。这一突破性进展在人工智能领域引起广泛关注,该模型不仅显著提升了处理速度达200%,同时大幅减少了输出t...
Read More斯坦福大学教授、AI领域权威专家李飞飞在最新演讲中指出,空间智能(Spatial Intelligence)是人工智能发展的下一个关键突破口。这段发布在YouTube的演讲视频(观看量已超26万)引发了技术社区的广泛讨论,Hacker Ne...
Read More华为宣布将开源其PanguAI系列中的两个核心模型及部分推理技术,这一战略举措旨在推动全球人工智能技术的普及与应用。作为中国AI领域的领军企业,华为此次开源不仅展示了其在自然语言处理和多模态AI领域的技术积累,...
Read More