近日，一种新的Temporal Dilated Video Transformer (TDViT)技术被发布，旨在提高稠密视频任务的分析能力，如逐帧视频对象检测。该技术采用多头自注意力机制，可进行多层次、多尺度的特征提取，同时利用空间和时间的...

KV缓存的量化是Transformer架构的一个技术细节，它使其在推理时使用更少的内存。量化是在最小损失质量的情况下缩小浮点精度。

AI Form Roast是一款免费的AI工具，旨在帮助企业审核和优化在线表单。该工具可以通过分析表单中的文本和字段，提供有关表单结构、语言和设计的反馈，以帮助企业改进其表单的用户体验和转化率。AI Form Roast的智能算...

Lag-Llama是一种基于Transformer的模型，可在零样本和少样本泛化方面表现出色，并在广泛的时间序列数据上进行了预训练。通过对少量数据进行微调，它超越了现有深度学习方法的最新性能，标志着时间序列分析基础模型的...

近日，Point Transformer V3（PTv3）发布了，这是一个简单而高效的3D点云处理模型。与注重复杂设计的模型不同，PTv3通过注重规模和效率，实现了更快的处理速度和更好的内存效率。该模型在GitHub上开源，让广大科技爱...

近日，一种名为MetaTree的新型决策树算法在GitHub上公开发布。与传统的决策树算法不同，MetaTree采用Transformer模型进行学习，从而提高了泛化能力。根据开发者的介绍，MetaTree在多个数据集上进行了测试，结果表明...

3D对象生成的一个关键挑战是可以创建的物品的多样性。本研究使用修改后的架构来提高样本效率，并将系统扩展到可以处理每个3D类别中更大的对象集。

RWKV是主流Transformer模型的一种架构替代方案。它使用一种新颖的线性注意力机制，使其极其高效。这个新的检查点和配置是在1T令牌上训练的，超越了许多其他功能强大的基于7B Transformer的模型。