本文深入探讨了PyTorch在执行和优化神经网络层方面的最新进展，特别是从单个线性操作逐步过渡到融合多层感知机（MLP）的过程。文章详细剖析了如何通过算子融合技术，将多个连续的线性变换和激活函数合并为一个计算核...

近日，一位独立开发者分享了一项极具工程教育意义的项目：从零开始构建一个“复古风格”的大语言模型（LLM）。项目不仅涵盖了基础训练与微调脚本的自主编写，还包括完整的数据处理管线以及定制数据集的构建。令人瞩目...

在计算机辅助设计（CAD）领域，生成式人工智能正展现出颠覆传统工作流的潜力。GenCAD项目正是这一趋势的典型代表。该项目旨在利用生成模型，直接根据用户的自然语言描述或简单草图，自动生成精确且可编辑的设计文件...

一篇发表于arXiv上的新论文《There Will Be a Scientific Theory of Deep Learning》正引发人工智能学术界的广泛讨论。该文阐述了深度学习虽在实践中取得空前成功，但其理论基础仍相对薄弱，核心机制尚未被完全揭示...

谷歌近日在GitHub上开源了其内部广泛使用的AI文件类型检测工具——Magika。该项目采用了一个经过专门优化的轻量级深度学习模型，能够在毫秒级别内对超过200种文件内容类型进行快速且高精度的识别。与传统的基于文件扩...

近日，AI领域知名专家、OpenAI联合创始人安德烈·卡帕西（Andrej Karpathy）在社交媒体上分享了一个名为“LLM Wiki”的GitHub Gist项目，并将其描述为一个“灵感文件”（idea file）的范例。该项目迅速在技术社区引发关注...

近日，一个名为Tinybox的离线AI设备项目在技术社区引发了广泛关注。该项目旨在打造一款能够本地离线运行高达1200亿参数大型语言模型的紧凑型硬件设备。这一构想直击当前AI应用的核心痛点：数据隐私、网络依赖和高昂...

近日，GitHub上开源了一个名为MoDA的项目，它实现了一种创新的注意力机制——混合深度注意力。该机制的核心突破在于，允许注意力头同时访问当前层以及更早层的键值对。这一设计旨在解决随着模型深度增加，信息在传递过...