漫话开发者 - UWL.ME 精选全球AI前沿科技和开源产品
2024-04-24 talkingdev

苹果发布CoreNet,用于训练深度神经网络库

苹果公司最近发布了一个名为CoreNet的库,用于训练深度神经网络。这个库旨在帮助开发者更快速、更方便地构建和训练深度学习模型,提高模型的准确性和性能。CoreNet提供了一系列的工具和接口,包括卷积神经网络、递归...

Read More
2024-02-21 talkingdev

OpenRLHF开源,提供基于Ray的RLHF实现

近日,GitHub上有一个新的仓库OpenRLHF发布了。这是一个基于Ray的RLHF实现,专为Llama样式模型设计。该仓库集成了多种PPO稳定技巧,以提高性能。Ray是一款新型的分布式计算框架,它具有高效、易用等特点,支持快速构...

Read More
2024-02-14 talkingdev

HF实现模型输入数据打包,提高训练效率

将训练模型中的数据打包是提高训练效率的一种方式,它通过连接示例来实现。如果操作不当,示例之间可能会出现污染,因为注意力机制不知道何时停止。社区发现,使用EOS通常足以解决问题,但仍然可能存在问题。这个仓...

Read More
2024-02-01 talkingdev

Lilac Garden快速聚类技术:将语言模型训练效率提高100倍

在训练语言模型时,一个挑战是为任务找到足够多样化的数据集。更难的是,将这些数据可视化。这个很酷的工具使用快速聚类和主题建模,使得可以探索数据,以改善过滤和整体质量。

Read More
2024-01-23 talkingdev

开源图像字幕软件,帮助AI训练更智能

GitHub最近推出了一款图像字幕软件,能够帮助用户为图像添加字幕以便更好地进行AI训练。这款软件非常轻巧,易于使用,可以快速准确地为图像添加字幕,提高AI的训练效率。该软件支持多种格式的图像文件,包括PNG、JPE...

Read More
2023-12-20 talkingdev

Google Vision开源权重分片,提升多节点系统训练效率

Google的Big Vision项目是一个研究和生产最先进的视觉系统的重要工具库。最近,他们添加了权重分片,使得在多节点系统上的训练更加容易。这个新功能可以将模型分成多个子模型,分别在不同的节点上进行训练,最后再将...

Read More
2023-12-15 talkingdev

HyperRouter方法开源,提高LLM训练效率

HyperRouter方法提高LLM训练效率。该方法通过动态调整路由器参数,进一步提高了大型语言模型训练的效率。

Read More
2023-11-30 talkingdev

论文:使用生成扩散技术提升数据集精华提取

科学家们开发出一种新方法,使用生成扩散技术创建代理数据集,这种数据集具有更好的代表性和更多样化,同时需要的计算资源更少。这种方法可以通过在代理数据集中训练神经网络来提高模型的性能。这种方法可以降低计算...

Read More
  1. Prev Page
  2. 4
  3. 5
  4. 6
  5. Next Page