Meta旗下FAIR研究团队在arXiv最新论文中提出重大架构革新,通过名为Dynamic Tanh(DyT)的逐元素操作替代传统归一化层,使Transformer模型在保持性能的同时摆脱了对归一化层的依赖。这种S型曲线模拟技术能够自然复现...
Read MorePyTorch官方博客最新发布的ParetoQ训练算法在低比特量化领域取得重大突破。该技术首次实现了二元(1-bit)、三元(1.58-bit)和2至4位量化的统一框架,并在所有量化级别上均达到当前最优性能。这一突破性进展尤其适...
Read MoreOpenAI宣布与阿联酋科技集团G42等合作伙伴共同在阿布扎比建设超大规模人工智能数据中心Stargate UAE。该设施设计容量达1吉瓦,建成后将成为全球算力最强的AI基础设施之一。作为阿联酋国家AI战略的核心项目,首期200...
Read MoreOpenAI近日将其内部研发的高性能计算核心——FP4(4-bit浮点)与MoE(混合专家)系统的关键算子通过GitHub PR开源至Triton语言项目。这一举动标志着AI基础设施领域的重要进展:FP4作为新兴的低精度计算格式可显著提升...
Read MoreOpenAI近期宣布与Broadcom和TSMC合作,成功研发出首款专用芯片。这一举措标志着OpenAI在硬件领域的重要进展,旨在提升其人工智能模型的运算能力和效率。新芯片的设计专注于优化LLM和embedding等关键技术,预计将大幅...
Read More风险投资公司Andreessen Horowitz已经获得了数千块AI芯片,以此进行股权交换。这是a16z为了保持AI技术的活力,采取的一种全新方式。通过Oxygen计划,他们试图激发AI领域的创造力和创新力。这一策略的成功将对AI产业...
Read More风险投资公司Andreessen Horowitz已经获取了成千上万的AI芯片,包括Nvidia H100 GPU,以此与他们的AI投资组合公司进行股权交换。这项行动是他们为了维持AI的活力并推动其发展所进行的'Oxygen'计划的一部分。Andreess...
Read MoreEtched近日宣布完成由Primary Venture Partners和Positive Sum Ventures主导的1.2亿美元融资,天使投资人包含Peter Thiel,Stanley Druckenmiller和David Siegel等。Etched正在与TSMC的新兴业务集团直接合作,以在其...
Read More