韩国科学技术院(KAIST)的研究人员成功研发了C-Transformer，这是一款面向大型语言模型的超低功耗AI芯片，其能效表现显著优于Nvidia的A100 GPU。C-Transformer的问世，为AI领域的能源效率提升设立了新的标杆，有望推...

最新研究项目YOLOX-ViT在水下机器人领域中引入了一种创新的目标检测方法，该方法通过整合视觉变换器（Visual Transformers）和知识蒸馏（Knowledge Distillation）技术，显著提高了目标检测的准确性和效率。该技术的...

人工智能领域的领先企业xAI近日宣布，已将其拥有3140亿参数的Mixture-of-Experts模型——Grok-1的权重和架构公开。Grok-1采用JAX编写，并融入了现代Transformer架构，包括GeGLU、ROPE、三明治范数等先进技术。此次公开...

近日，一项名为ViT-CoMer的神经网络模型问世，增强了Vision Transformers（ViT）在密集预测任务中的表现，而无需预训练。这项研究由卡内基梅隆大学的学者领导，他们在GitHub上公开了相关代码和数据集。ViT-CoMer能够...

OpenAI的超对齐团队开发了一款名为Transformer Debugger的工具，以支持对小型语言模型的特定行为进行调查。该工具将自动可解释性技术与稀疏自编码器相结合。

Transformer Debugger是一种工具，它通过将自动可解释性技术与稀疏自动编码器相结合，支持对小型语言模型的特定行为进行调查。

Stability AI宣布推出Stable Diffusion 3，这是一款类似于OpenAI的Sora的Diffusion Transformer。公司训练了一套模型，参数范围从8亿到80亿，这是从以前的图像生成模型中跨越式的飞跃。这些模型将在经过一段时间的研...

Google已经发布了其Gemma 2B和7B参数模型的权重，可通过HuggingFace获得。这些模型是仅解码器的Transformer，训练了2T和6T个令牌。它们在各种基准测试中都比Llama 2表现出色，并提供基础和指令调整版本。

GitHub上发布了一个名为“Flexible Vision Transformer”的仓库，该架构设计用于创建任意分辨率和纵横比的图像。与传统模型不同，FiT将图像视为变量大小的标记序列，在训练和推理过程中更有效地适应不同的图像大小。这...

近日，一种新的Temporal Dilated Video Transformer (TDViT)技术被发布，旨在提高稠密视频任务的分析能力，如逐帧视频对象检测。该技术采用多头自注意力机制，可进行多层次、多尺度的特征提取，同时利用空间和时间的...