语言模型的性能往往受到其上下文长度的限制。一般来说，上下文长度的限制主要源于计算硬件和聪明的算法更新。StreamingLLM（Github Repo）提供了一种算法更新，通过将令牌流式传输至注意力机制，理论上可以支持无限...

最新版本的Flash Attention在提升模型上下文长度和性能的同时，其速度也得到了极大的提升。目前，Flash Attention正在被HuggingFace生态系统本地化支持的过程中。Flash Attention的升级不仅仅提升了模型的运算速度，...

稳定扩散是一种复杂的技术，其可大幅度提高生成质量，而无需进行额外的训练。这是通过巧妙地调整权重和在UNet中扩大残差来实现的。具体的代码将在不久后公布。UNet是一种广泛应用于图像分割的深度学习框架，其独特的...

微软近日推出名为 'Microsoft Copilot' 的人工智能伙伴，此款AI产品将集成在Windows 11，Microsoft 365，Edge和Bing中，旨在根据网络上下文、用户数据和当前活动提供情境化的帮助，同时重视用户隐私保护。Microsoft...

亚马逊在周三的秋季硬件发布会上展示了一款全新的Alexa语音助手，它由一个大型语言模型驱动，能够理解会话性短语并做出适当的回应，更有效地解析上下文并完成多个请求。这将极大提升家庭自动化的水平。亚马逊将逐步...

Arcus公司通过使用分层检索器将检索增强生成（RAG）技术扩展到行星级规模。这种技术是通过将文件基于其语义内容进行分组聚类，然后逐步过滤这些组来缩小搜索空间。这样可以检索到更相关的上下文，减少幻觉，并在行星...

ragas是一个框架，它可以帮助你评估你的检索增强生成（Retrieval Augmented Generation，简称RAG）管道，这是一类使用外部数据来增强LLM（语言模型学习）上下文的应用程序。RAG管道是近年来人工智能领域的重要研究方...

Biome是一款能够在短短几秒内对JavaScript、TypeScript、JSON和CSS代码进行格式化和检查的工具。它需要极少的配置，能够提供详细的上下文诊断信息。Biome旨在取代Babel、ESLint、Webpack、Prettier、Jest等工具。它...

近日，一款安全且私密的大热语言模型——ChatGPT企业版正式上线。该版本不仅在速度上有着显著提升，性能提高了一倍，而且拥有32000字的上下文长度并且无使用限制。更重要的是，ChatGPT企业版在安全性上也有了重大突破...

DeepSpeed是微软推出的一个库，可以用来扩大语言模型的预训练。虽然使用起来有些复杂，但它提供了强大的抽象功能。微软最近添加了序列并行性，可以训练具有更长上下文长度的模型。这并不是一个新的突破，而是对开源...