近日，一项名为《Writing Speed-of-Light Flash Attention for 5090 in CUDA C++》的技术研究引发广泛关注。该研究通过CUDA C++实现了针对5090硬件的光速级Flash Attention算法，显著提升了注意力机制的计算效率。Fl...

一位独立开发者在短短两个月内，利用200块GPU构建了一个完整的网络搜索引擎，该引擎生成了30亿个神经嵌入，覆盖了2.8亿个索引页面。该项目采用了基于Transformer的嵌入技术，相比传统的关键词匹配方法，这一技术显著...

Morphik.ai公司创新性地提出了一种基于视觉的文档检索方法，该方法摒弃了传统的OCR（光学字符识别）和解析技术，转而采用文档页面的图像作为处理对象。通过将文档图像分割成小块，并利用视觉Transformer和语言模型，...

一项名为'基于能量的Transformer'（Energy-Based Transformers）的新型架构在机器学习领域取得突破性进展。该技术摒弃了传统的直接预测方式，转而采用学习验证函数来评估输入与候选输出之间的兼容性得分。这种创新架...

Google最新发布的Gemma 3n和MatFormer模型采用了创新的嵌套Transformer架构，通过Mix-n-Match技术实现弹性推理功能。该技术允许模型在运行时动态调整计算资源分配，显著提升推理效率并降低计算成本。本实践教程详细...

近日，研究人员发布了新一代商业级大语言模型Mercury，该模型基于扩散模型技术，采用Transformer架构进行参数化，并能够并行预测多个token。报告重点介绍了Mercury Coder，这是首套专为编程应用设计的扩散大语言模型...

研究人员最新提出了一种创新的神经网络架构预测器，该预测器将图神经网络（GNN）与Transformer架构相结合，通过引入兄弟感知令牌混合器（sibling-aware token mixer）和双向图同构前馈网络（bidirectional graph iso...

Sentence Transformers最新升级引入对稀疏嵌入模型训练的支持，这一技术突破特别适用于混合搜索和重排序场景。该博客详细解析了模型的核心组件与训练步骤，并重点介绍了基于SPLADE架构的现成模型。稀疏编码技术通过...