Cohere AI的研究部门For AI开发了用于混合专家模型的参数高效微调方法，称为MoE PEFT。该算法可显著提高模型的微调效率，同时保持准确性。最近，该团队公开了该算法的GitHub代码库，为社区提供更多研究资源和工具。C...

最近，一家开发团队发布了一个名为“LLM Toolkit”的开源Python工具包，用于构建基于RAG的语言模型生成应用程序。它提供了快速的RAG微调、模型训练和服务脚本，同时支持多种文本数据输入和输出格式。该工具包的代码已...

近日，一种名为MicroTCP的TCP/IP协议栈引起了广泛关注。相比于其他协议栈，MicroTCP非常小巧，只有1000行代码，运行时内存占用也非常少。该协议栈是用C语言编写的，可用于嵌入式设备，尤其适合一些资源有限的设备。M...

据最新消息，Phind模型在编码方面的表现已经超过了目前最强的GPT-4。该模型支持16k上下文编码，在编码速度上也不逊于GPT-3.5。Phind模型是一种基于自然语言处理技术的编码器，可以用于编写各种程序代码。该模型采用...

Magnetic是一个用于轻松集成大型语言模型到Python代码的库。 这个名为Magnetic的库是由NLP引擎提供商Hugging Face发布的。基于Transformers，Magnetic允许您轻松地将大型语言模型集成到您的Python代码中，以进行各种...

这篇论文介绍了一种名为IC⁠TC的基于文本条件的图像聚类方法，该方法利用视觉语言模型根据用户提供的文本描述对图像进行排序。IC⁠TC方法使用了预训练的视觉语言模型来生成图像和文本之间的嵌入，然后使用这些嵌入来聚...

HuggingFace团队成功复现了OpenAI的第一个RLHF代码库，该代码库于2019年发布，是引入了一些最初的RLHF（强化学习与人类因素）想法。这个代码库被称为“Generative Pretraining Transformer（GPT）”。通过在计算机上训...

微软研究小组在一篇论文中提到，GPT-3.5-turbo（ChatGPT背后的模型）是一个具有20B参数的模型，该小组研究扩散模型用于代码。据称原始模型的参数为175B，因此可能进行了重新训练或蒸馏。

数据集映射是将转换应用于每个数据点的标准方法。但是在多个GPU上同时进行映射是很困难的。本代码提供了在HuggingFace数据集上实现的优秀函数。

近日，一种名为ReactAgent的试验性自主代理在GitHub上发布了它的最新版本，该代理利用GPT-4从用户故事中生成和组合React组件。ReactAgent的目标是使React开发更高效，使开发人员在开发过程中更多地关注业务逻辑而不...