近日，GitHub上开源了一个名为E2E的JAX官方实现项目，它提出了一种创新的长上下文语言建模方法。该方法的核心在于将传统的语言建模任务重新定义为持续学习问题。E2E模型采用标准的Transformer架构，并配合滑动窗口注...

一篇题为《图解Transformer》的技术博客在开发者社区Hacker News上引发了广泛关注，该博客由jalammar撰写，通过大量直观的图示和清晰的解释，深入浅出地剖析了Transformer这一革命性神经网络架构的核心工作原理。Tra...

近日，GitHub上开源了一个名为ViBT（Vision Bridge Transformer）的项目，该项目将布朗桥模型（Brownian Bridge Models）扩展至高达200亿参数规模，专门用于高效的图像与视频条件生成任务。ViBT的核心创新在于其采用...

大语言模型（LLM）作为基于Transformer架构的神经网络，通过并行分析完整序列并计算词语间的全局关联性，实现了自然语言处理的突破性进展。在推理过程中，模型首先将输入文本转化为数字化的词元嵌入向量，随后通过Tr...

据《华尔街日报》报道，中国人工智能公司月之暗面（Moonshot AI）正启动新一轮数亿美元规模的融资，估值预计达40亿美元。该公司开发的Kimi智能助手凭借超长上下文处理能力成为行业焦点，目前已向潜在投资者透露计划...

字节跳动Seed团队在GitHub开源了Depth Anything 3（DA3）项目，这是深度估计领域的重要进展。该模型通过纯Transformer架构和创新的深度射线表示法，实现了无需相机位姿信息的单视图或多视图图像空间一致性深度估计。...

当前最强大的开源大语言模型普遍采用自回归解码器架构的Transformer模型，但近年来涌现出多种创新架构。这些模型不仅关注计算效率的提升，更致力于突破性能瓶颈。文本扩散模型通过模拟去噪过程生成连贯文本，在创造...

在近期播客访谈中，OpenAI创始研究员、AI领域权威安德烈·卡帕西针对通用人工智能发展路径提出关键见解。他系统阐述了AGI实现时间线的技术瓶颈，指出当前模型仍处于‘动物级’感知智能阶段，距离具备抽象推理能力的‘幽...