苹果正在对其人工智能（AI）进行细分处理，区分出'上下文'和'世界'模型。其中，像ChatGPT这样的'世界'模型，被用于处理开放式查询，但没有个人上下文。OpenAI的地位并不稳固，因为在大语言模型（LLMs）中缺乏防御壁...

PE-Rank是一种新的段落排名方法，通过使用单一的段落嵌入来进行上下文压缩，从而提高了效率。段落排名在许多技术领域都有重要的应用，如信息检索、机器翻译和自然语言处理等。传统的段落排名方法往往需要大量的计算...

近年来，大型语言模型在自然语言处理领域取得了显著进展，但在长时间对话中保持记忆仍然是一个巨大的挑战。为了解决这一问题，研究人员提出了一种新的方法：Streaming Infinite Retentive LLM（SirLLM）。这种方法允...

Mistral 公司近日在 Hugging Face Hub 上发布了其 7B 模型的最新版本——Mistral 7B Instruct V3。该版本在上下文长度和性能方面都有显著提升。新的模型不仅能够处理更长的上下文，还在多个基准测试中表现出色，显示出...

近日，Google发布了新的轻量级模型Gemini Flash。此模型具有多模态推理和高达一百万个符号的长上下文窗口。Google利用其先进的技术，使Gemini Flash在处理大量数据时保持了高效与精确。这种新型的轻量级模型将有助于...

在2024年的Google I/O开发者大会上，Google发布了众多新功能，包括Gemini Flash、Veo视频生成、Imagen 3及其最新助手Project Astra。整体而言，这些改进数量惊人，包括扩大到2m的令牌上下文长度，大幅降低的模型价格...

Spider是一个新型的统一模型，旨在增强对上下文依赖（CD）概念的理解，如伪装物体和医疗病变等。这些概念在很大程度上依赖于视觉背景。这个模型的独特性在于，它能够理解并应对由视觉环境变化引起的复杂情况。蜘蛛模...

一项最新的研究揭示了一种能够显著扩展语言模型上下文长度至128K的方法。这项研究强调了大量和多样性的训练数据的重要性。语言模型的上下文长度是语言模型理解和生成连贯文本的能力的一个重要因素。此项新的研究方法...

run0是一种sudo替代品，将会成为即将发布的systemd 256的一部分。它完全避免了setuid权限的使用。使用setuid权限会导致特权代码的执行上下文一半在非特权代码的控制下，需要谨慎的手动清理。这个页面包含了一个Masto...

Llama3是一种革命性的新技术，它通过使用Unsloth进行微调，可以在保持相同的计算效率的同时，显著降低VRAM的使用量。最近的研究表明，使用Unsloth微调Llama3可以使上下文长度增长六倍，这比HF的flash attention技术...