DeepSeek研究团队以DeepSeek-V3为案例，分享了大型语言模型（LLM）训练中的硬件-模型协同设计创新成果。该研究通过多头部潜在注意力机制（Multi-head Latent Attention）、专家混合系统（Mixture of Experts）、FP8...

人工智能领域迎来重大技术突破，开源项目ParScale通过创新性地在大型语言模型（LLM）的训练和推理阶段同时应用并行计算技术，成功建立了第三种LLM扩展范式。这一技术突破解决了传统序列计算模式在超大规模模型应用中...

近日，开发者gorenje在GitHub上发布了Erlang-RED项目，这是一个受Node-RED启发的可视化低代码流编程环境，专为Erlang语言设计。该项目旨在利用Erlang的消息传递和低开销进程特性，在Node-RED流中实现真正的并发编程...

Nous Research近期推出的Psyche网络是一个基于Solana区块链的分布式训练系统，该系统允许拥有兼容硬件的用户自愿贡献其GPU资源用于AI模型训练。该项目的首个计划"Consilience"旨在利用20万亿个token训练一个拥有400...

人工智能平台Hugging Face近日发布了一项突破性的语音转录服务——Whisper极速端点（Fast Whisper Endpoint）。这项创新技术通过优化模型架构和计算资源分配，实现了高达8倍的转录速度提升，为语音处理领域树立了新的...

GitHub开源项目TScale提出了一种创新性的分布式训练解决方案，允许开发者在消费级GPU集群上高效运行大规模模型训练。该项目通过优化通信协议和资源调度算法，显著降低了分布式训练的硬件门槛，使中小型研究团队也能...

这篇博客文章详细介绍了如何构建一个基于浏览器并通过WebAssembly（WASM）加速的XGBoost训练系统。XGBoost作为一种高效的机器学习算法，广泛应用于数据科学和人工智能领域。通过利用WASM技术，开发者能够在浏览器环...

近日，分布式计算公司Prime Intellect宣布成功完成1500万美元的融资。此次融资将用于进一步推动其分布式训练方案的发展。Prime Intellect致力于通过分布式计算技术优化大规模数据处理和模型训练的效率，其独特的分布...