近日，ToLo推出了一种创新的两阶段、无需训练的布局到图像生成框架，专门针对高重叠布局设计。该框架通过两个独立的阶段实现图像生成：第一阶段利用预训练的模型生成初步图像，第二阶段则通过优化算法对图像进行精细...

近日，一项名为ARC-AGI的技术引起了广泛关注，其最大的亮点在于无需进行传统的预训练过程。传统的AGI（通用人工智能）系统通常需要大量的数据和计算资源进行预训练，而ARC-AGI通过创新的架构设计，成功绕过了这一步...

在LLM的预训练过程中，网络爬虫获取的数据往往因文本提取效率低下而被大量丢弃。然而，近期一项开源项目在GitHub上发布，显著提升了文档的保存率，并利用这些数据在少量爬取内容的基础上训练出更强大的模型。该项目...

DeepMind近期在视觉语言模型（VLM）预训练领域取得了重大突破，将训练数据规模提升至前所未有的1000亿张图像。这一规模远超以往尝试，显著提升了模型在多样化全球任务中的表现。尽管在西方中心化任务上的性能已趋于...

Ts_zip是一项创新技术，它运用大型语言模型（LLM）来实现文本压缩。Ts_zip的核心理念在于通过预训练的大型语言模型对文本进行编码和解码，从而减少数据存储空间或传输带宽的需求。这种技术的优势在于其能够理解文本...

最新研究显示，大型语言模型（LLM）的推理能力得益于预训练阶段发展出的程序性知识。程序性知识指的是一系列规则和步骤，这些知识在预训练过程中被模型学习并内化，进而在后续任务中被用来指导推理。这一发现强调了...

SuperFlow是一种新的框架，通过使用连续的LiDAR-camera对进行时空预训练，增强了自动驾驶中的3D感知能力。在自动驾驶技术中，3D感知的重要性不言而喻，它可以帮助自动驾驶汽车更准确地理解周围环境，进行更安全、更...

Meta推出了利用全新的多令牌预测方法的预训练模型，该方法可以同时预测多个未来的词汇，承诺提升性能并大幅度缩短训练时间。这种新颖的多令牌预测方法改变了我们对于未来词汇的预测方式，将其从单一的词汇预测转变为...