800页的教程和150个示例笔记本构成了一份令人惊叹的资源,可以帮助人们学习实用的机器学习知识以及如何在金融应用中应用它。
Read Moresimpleaichat是一个Python包,可以方便地与ChatGPT和GPT-4等聊天应用进行接口交互,具有强大的功能和最小的代码复杂性。
Read More从头开始训练基础模型是一项具有挑战性的任务。斯坦福大学的语言模型团队发布了一个在Jax上的框架,使这个过程更加简化。它提供了多种数据和模型并行策略,简化了编程过程。
Read MoreOpenAI的GPT-4语言模型现在可以使用外部工具来完成任务,例如查看天气、获取股票价格或在公司数据库中查找数据。这是相对于之前的GPT版本的一项重大改进,之前的版本由于其受训数据的限制,功能受到了限制。
Read More本文讨论了几种加速大型语言模型(LLM)训练和推理的技术,以使用高达100K个输入令牌的大上下文窗口。这些技术包括:ALiBi位置嵌入,稀疏注意力,闪电注意力,多查询注意力,条件计算以及使用80GB的A100 GPU。
Read MoreNvidia A100是市场上最强大的GPU之一。它们已被用于训练迄今为止最流行的模型之一。它们是数据中心的GPU,通常意味着您无法在自己的硬件上运行它们。本文探讨了如何以几千美元的价格自己组装一个本地运行的A100超级...
Read More强化学习在扩展方面一直很棘手。也就是说,当你增加模型大小或增加剧集数量时,事情开始变得复杂。然而,在其他AI学科中,扩展带来的性能足够好,值得克服这个挑战。在这项研究中,作者通过使用一些巧妙的设计技巧,...
Read More本研究调查了强大的语言模型是否能够教授较不先进的人工智能系统并提高其性能。研究提出了两个人工智能之间的“学生-教师”关系,并探讨了“教师”人工智能应该在什么时候、如何以及解释给“学生”人工智能,以提升其能力...
Read More