漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-02-06 talkingdev

Banana停止无服务器GPU业务

香蕉公司正在逐步停止其无服务器GPU业务。该公司已提供了过渡计划和协助离职。这对于该公司的客户和员工将产生重大影响,因为他们需要适应这一变化并重新考虑他们的业务和职业生涯。虽然这可能是令人失望的消息,但...

Read More
2024-01-30 talkingdev

CPU创业公司Tachyum声称其处理器单元可以媲美数十个Nvidia H200 GPU

Tachyum即将开始大规模生产其Prodigy Universal处理器,这是一款多功能处理器,结合了CPU,GPU和TPU的功能,承诺显着提高云计算,高性能计算和人工智能应用的性能。这可能会颠覆AI市场。

Read More
2024-01-25 talkingdev

优化矩阵乘法,以加速AI运行

本文简要介绍了硬件特定的矩阵乘法优化和一般流程,以加速AI代码。现代深度学习算法中,矩阵乘法是常见的操作。优化矩阵乘法的实现可以显著提高模型的训练和推理速度,进而提高模型的准确性和效率。矩阵乘法优化的主...

Read More
2024-01-01 talkingdev

论文:PowerInfer消费级GPU的LLMs

本文探讨了模型中存在几乎所有输入都会使用的热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU中,您可以节省内存而不会牺牲太多吞吐量。可以使用配套的代码库。

Read More
2023-12-25 talkingdev

论文:消费级GPU上的LLMs PowerInfer

本文探讨了模型拥有热神经元和很少使用的冷神经元的想法。通过将热神经元预加载到GPU上,您可以节省内存而不会牺牲太多吞吐量。同时,该文提供了一个可用的代码库。

Read More
2023-12-15 talkingdev

Cerebras发布gigaGPT模型训练框架

Cerebras是一家人工智能训练芯片制造商,近日发布了一个在其系统上训练大型模型的框架,名为gigaGPT。该框架非常简单易用,不需要将大型模型分割成多个GPU和节点进行训练。

Read More
2023-12-13 talkingdev

HuggingFace 发布 Transformers 4.36.0 版本,新增 Mistral 模型和 AMD 支持

近日,HuggingFace 发布了最新版本的 Transformers 4.36.0。此次更新新增了 Mistral 模型和 AMD 支持等多项功能。同时,safetensors 已成为默认设置。HuggingFace 的这次更新将为 AI 模型的开发和训练提供更加便利的...

Read More
2023-12-08 talkingdev

StableFast开源,更快的Diffusers推理引擎

Stable Fast是HuggingFace扩散模型的推理引擎,通过它可以进行快速的Diffusers推理。该推理引擎在多种硬件上实现了出色的性能,包括CPU和GPU。此外,Stable Fast还兼容多个框架,包括PyTorch和TensorFlow。在GitHub...

Read More
2023-12-08 talkingdev

苹果开源针对 Mac 的新 Array 框架

近日,苹果公司发布了一款针对 Mac 设备加速的 Array 框架,利用统一内存技术,使其变得简单干净,并提供了一些 GPU 支持。这个新框架可以帮助开发者更高效地编写代码,从而提升用户体验。据悉,这个新框架可以在 Gi...

Read More
2023-11-23 talkingdev

微软和英伟达简化了在Windows上运行AI模型的过程

微软宣布了Windows AI Studio,这是一个供开发人员访问和配置AI模型的中心,提供了来自Azure AI Studio和Hugging Face的工具以及模型配置界面和性能测试模板等功能。英伟达更新了其TensorRT-LLM,支持GeForce RTX 30...

Read More
  1. Prev Page
  2. 10
  3. 11
  4. 12
  5. Next Page