科研团队近期推出了一项名为DiJiang的创新技术，旨在将现有的Transformer模型转化为更精简、更快速的版本，同时避免了重新训练模型所需的巨大成本。DiJiang技术通过优化模型结构，大幅减少了计算资源的消耗，使得Tra...

在RAG（检索-生成）管道中，对嵌入向量进行搜索是至关重要的一环。通过将fp32数字替换为单个0或1，并使用KNN聚类器和重排序器，可以在缩小内存需求30倍的同时，保持性能不受影响。这一技术突破为处理大规模数据集提...

Databricks Mosaic团队在语言模型训练领域不断创新。在最近的一篇文章中，他们讨论了用于fp8训练的训练技术栈，以及通过降低精度所带来的一些优势。fp8作为一种新兴的计算精度格式，能够在保持足够精度的同时，大幅...

韩国科学技术院(KAIST)的研究人员成功研发了C-Transformer，这是一款面向大型语言模型的超低功耗AI芯片，其能效表现显著优于Nvidia的A100 GPU。C-Transformer的问世，为AI领域的能源效率提升设立了新的标杆，有望推...

随着人工智能模型的不断发展，越来越多的研究人员开始研究如何在不影响模型准确性的前提下，提高模型的计算效率和内存利用率。LLM量化是一种后训练量化技术，可以使像OPT和LLaMA2这样的大型语言模型更具内存和计算效...

近日，智能会议记录助手正式上市，为企业管理提供更为便捷的解决方案。该助手通过利用人工智能技术，帮助企业管理人员记录会议内容，跟踪决策，并自动化后续跟进流程。该助手不仅可以提高会议效率，也可以提高企业管...

根据IBM的一项新调查，由于在接下来的三年中将实施AI和自动化，全球40%的劳动力将需要进行技能的再培训。随着科技发展，AI和自动化已经逐渐渗透到了各行各业中，对于员工的技能要求也在不断提高。从这个角度来看，技...

近年来，生成式人工智能编码工具为开发人员带来了巨大的效率提升。然而，一些技术领袖担心快速生成过多的代码会带来一系列问题，降低代码创建门槛可能导致日益复杂的技术债务和混乱，企业将不得不管理越来越多的软件...