英伟达在其GitHub仓库Optimum-Nvidia中发布了TensorRT的最新更新,这一更新使得AI推理速度大幅提高,达到了比基线快28倍的速度。特别是在Llama 2的基准测试中,能够达到每秒处理1200个令牌的惊人速度。这一进步得益...
Read MoreAnyscale与NVIDIA最近宣布了一项新的合作伙伴关系,旨在帮助客户将生成式AI模型扩展到生产环境中。通过这次合作,客户可以将Ray与Anyscale的托管运行环境相结合,以提高资源管理、可观测性和自动扩缩容的能力。这项...
Read MoreNVIDIA公司通过控制GPU和CUDA平台,形成了其在市场上的独特优势。CUDA简化了开发者从NVIDIA硬件中获益的过程,这一优势的确立得益于NVIDIA在CUDA生态系统上多年的投资和数十亿美元的投入。尽管未来可能会有竞争者项...
Read MoreCohere近日推出了专为大规模生产而优化的RAG(Retrieval-Augmented Generation)模型Command-R,并宣布将该模型引入NVIDIA新推出的API目录。Command-R模型结合了检索与生成技术,能够助力企业快速进入大规模生产环境...
Read More韩国科学技术院(KAIST)的研究人员成功研发了C-Transformer,这是一款面向大型语言模型的超低功耗AI芯片,其能效表现显著优于Nvidia的A100 GPU。C-Transformer的问世,为AI领域的能源效率提升设立了新的标杆,有望推...
Read MoreNVIDIA联合创始人Curtis Priem将自己的股份捐赠给了Rensselaer Polytechnic Institute (RPI),价值2.75亿美元。这笔捐款将有助于RPI推进其技术发展,并使其能够拥有IBM Quantum System One计算机。Priem在IPO后捐赠...
Read MoreNvidia正在停产基于图灵架构的GTX GPU,转向将其游戏显卡品牌全部归为“RTX”系列。这一转变意味着GTX系列正在逐步退出历史舞台,未来游戏显卡将专注于支持射线追踪等先进功能。尽管GT系列可能仍将继续存在,但GTX系列...
Read More据报道,软银集团创始人孙正义正在推出Izanagi,一个旨在与Nvidia竞争并专注于人工智能应用的1000亿美元芯片创业公司。Izanagi的目标是利用孙正义在AI和5G技术领域的经验来打造出一种全新的芯片,以满足未来的需求。...
Read More由于AI行业的繁荣,英伟达(NVIDIA)的市值已经达到了1.7万亿美元,相当于中国港交所所有上市公司的市值总和。英伟达是一家总部位于美国的半导体公司,其图形处理器和人工智能技术在游戏、数据中心和自动驾驶汽车等领...
Read MoreNVIDIA推出了Chat with RTX的演示版本,这是一款本地运行的PC聊天机器人,可以分析和汇总各种文件格式的个人数据,甚至整合来自YouTube视频的知识,旨在创建更个性化的数字助手体验。这种创新不需要云处理或互联网连...
Read More