Lightning Whisper MLX是一款针对苹果硅芯片优化的Whisper语音识别算法的高速实现版本。它采用批量解码技术以提高吞吐量，运用蒸馏模型以加快解码速度，并引入量化模型以加速内存传输。相较于传统的Whisper CPP，Lig...

英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新，这一更新使得AI推理速度大幅提高，达到了比基线快28倍的速度。特别是在Llama 2的基准测试中，能够达到每秒处理1200个令牌的惊人速度。这一进步得益...

人工智能的近期成就归功于三个主要因素：高效机器学习算法的创新、海量数据集的支持以及半导体技术的进步带来的能源高效计算。为了保持当前的发展速度，行业需要更为强大的设备。在过去的五十年中，行业一直专注于晶...

Cerebras公司近日推出了其最新款的CS3晶圆芯片，该芯片具备训练高达24T参数语言模型的能力。CS3芯片的发布，标志着在人工智能领域对高性能计算芯片的需求得到了进一步的满足。这款芯片原生支持PyTorch，使得开发者能...

由英特尔、谷歌、ARM、高通、三星等科技公司组成的统一加速（UXL）基金会，正在开发开源软件，旨在避免AI开发者受限于英伟达的专有技术。这一举措意味着，未来AI开发将有更多的选择，不必完全依赖英伟达的生态系统。...

沙特阿拉伯政府计划投资约4000亿美元发展人工智能技术。目前，该国正在与安德森·霍洛维茨（Andreessen Horowitz）及其他金融投资者商讨，计划通过合作建立一个科技基金。该基金将使沙特成为全球最大的人工智能投资者...

韩国科学技术院(KAIST)的研究人员成功研发了C-Transformer，这是一款面向大型语言模型的超低功耗AI芯片，其能效表现显著优于Nvidia的A100 GPU。C-Transformer的问世，为AI领域的能源效率提升设立了新的标杆，有望推...

英伟达在其开发者大会上宣布了新一代人工智能芯片及软件。这款名为Blackwell的AI图形处理器预计将于今年晚些时候出货。同时推出的NIM软件旨在简化AI的部署过程。英伟达力求通过NIM软件使得所有模型能够在其所有GPU上...