Sakana AI 提出了一项名为“Diffusing Blame”（扩散归咎）的神经网络学习新技术，其核心创新在于严格遵循神经科学中的戴尔原则（Dale's principle），即每个神经元只释放一种类型的神经递质，或兴奋或抑制，绝不混合...

Sakana AI 将其在集体智能领域的探索从软件推向了物理世界，发布了“智能细胞砖”（Smart Cellular Bricks）项目。这种模块化硬件砖块摒弃了传统集中式控制架构，每一块砖都内嵌局部通信模块和小型神经网络，能够通过...

近日，Liquid AI宣布推出其最新基础模型LFM2.5-230M，这是一款参数规模仅为2.3亿的非Transformer架构模型。与当前主流的Transformer模型不同，LFM2.5-230M基于状态空间模型与液态神经网络连续时间公式构建。尽管体积...

大型语言模型（LLM）的核心架构是Transformer，它通过引入自注意力机制，从根本上解决了传统循环神经网络（RNN）在处理长序列数据时面临的顺序计算瓶颈与长距离信息衰减问题。本文深入剖析了Transformer的各个关键组...

本文深入探讨了PyTorch在执行和优化神经网络层方面的最新进展，特别是从单个线性操作逐步过渡到融合多层感知机（MLP）的过程。文章详细剖析了如何通过算子融合技术，将多个连续的线性变换和激活函数合并为一个计算核...

一篇发表于arXiv上的新论文《There Will Be a Scientific Theory of Deep Learning》正引发人工智能学术界的广泛讨论。该文阐述了深度学习虽在实践中取得空前成功，但其理论基础仍相对薄弱，核心机制尚未被完全揭示...

近日，GitHub上一个名为‘soulplayer-c64’的开源项目引发了技术社区的广泛关注。该项目成功地在仅有1MHz主频、内存极其有限的经典计算机Commodore 64上，部署并运行了一个拥有25,000个参数的真实Transformer神经网络...

在深度学习领域，残差连接（Residual Connections）是构建深层神经网络的关键技术，它通过将浅层特征直接传递到深层，有效缓解了梯度消失问题。然而，传统的残差连接通常采用固定、均匀的累加方式，这可能限制了模型...